googlebot

Dieses Thema im Forum "Webhosting Allgemein" wurde erstellt von diskogaenger, 5. August 2002.

Status des Themas:
Es sind keine weiteren Antworten möglich.
  1. diskogaenger

    diskogaenger New Member

    Registriert seit:
    28. Januar 2002
    Beiträge:
    538
    Ort:
    Rossau
    dieser lustige knabe rotiert nun schon 3 tage über eine meiner seiten und hat mittlerweile schon jede menge dynamische seitenaufrufe fabriziert und auch schon über 1 gb traffic geschluckt ... ist das normal ? weil ich glaub der macht heute weiter


    mfg

    p. gaertke
     
  2. TemplerDesLichts

    TemplerDesLichts New Member

    Registriert seit:
    12. Januar 2002
    Beiträge:
    207
    AW: googlebot

    da fällt mir spontan ein:
    ipchains -A input -s 216.239.33.100 -p all -j REJECT
    ipchains -A input -s 216.239.35.100 -p all -j REJECT
    ipchains -A input -s 216.239.37.100 -p all -j REJECT
    ipchains -A input -s 216.239.39.100 -p all -j REJECT

    4x da:
    root@ffm1:/home/www# host google.de
    google.de A 216.239.33.100
    google.de A 216.239.35.100
    google.de A 216.239.37.100
    google.de A 216.239.39.100

    google.de ist vorhin bei mir auch durchgedreht
     
  3. diskogaenger

    diskogaenger New Member

    Registriert seit:
    28. Januar 2002
    Beiträge:
    538
    Ort:
    Rossau
    AW: googlebot

    und wieder war er auf besuch ... zum glück hab ich bei meinem hostingpaket genug traffic dabei ... nur mal schaun wielange das der hoster noch anschaut
     
  4. marky23

    marky23 New Member

    Registriert seit:
    5. Juni 2002
    Beiträge:
    300
    AW: googlebot

    root@ffm1:/home/www# host google.de
    google.de A 216.239.33.100
    google.de A 216.239.35.100
    google.de A 216.239.37.100
    google.de A 216.239.39.100

    was bringt das google.de drei verschiedenen IP's hat ?
     
  5. diskogaenger

    diskogaenger New Member

    Registriert seit:
    28. Januar 2002
    Beiträge:
    538
    Ort:
    Rossau
    AW: googlebot

    aber googlebot.com und google.de haben andere ips :)
     
  6. TemplerDesLichts

    TemplerDesLichts New Member

    Registriert seit:
    12. Januar 2002
    Beiträge:
    207
    AW: googlebot

    @marky
    das bringt loadbalancing auf die einfache art.
    Bei jeder Abfrage wird eine andere IP ausgegeben.
    So landet man auf verschienden Servern.

    Wegen googlebot.com hab ich wohl net aufgepasst. Bei mir kamen vorhin die Anfragen direkt von google.de
     
  7. marky23

    marky23 New Member

    Registriert seit:
    5. Juni 2002
    Beiträge:
    300
    AW: googlebot

    also wenn ich ping google.de mache bekomme ich immer die selbe IP ;)
     
  8. diskogaenger

    diskogaenger New Member

    Registriert seit:
    28. Januar 2002
    Beiträge:
    538
    Ort:
    Rossau
    AW: googlebot

    sorry, es ist mir egal ob ihr google.de anpingt, oder auch nicht
    ich hab gefragt ob andere betreiber ebenfalls überdurchschnittlich hohes aufrufen der seiten durch den googlebot verzeichnen/verzeichneten und ob sich das von allein wieder legt
     
  9. marky23

    marky23 New Member

    Registriert seit:
    5. Juni 2002
    Beiträge:
    300
    AW: googlebot

    kann man doch mit htaccess datein unterbinden oder nicht ?
     
  10. TemplerDesLichts

    TemplerDesLichts New Member

    Registriert seit:
    12. Januar 2002
    Beiträge:
    207
    AW: googlebot

    anscheinend gehts ihm ja nicht darum, wie man es unterbindet, sondern ob es anderen auch so geht.
    Also korrekte Antwort:
    Nein, bei mir kam erhöhte Anfrage direkt von google.de
     
  11. diskogaenger

    diskogaenger New Member

    Registriert seit:
    28. Januar 2002
    Beiträge:
    538
    Ort:
    Rossau
    AW: googlebot

    man kann schon bestimmte ips ausschliessen - aber google sollte schon meine seiten in der datenbank haben und ständig aktualisieren - immerhin googeln doch viele gern :)

    naja - solange sich mein hoster net beschwert wegen erhöhten traffics isses mir vorerst egal (sind ja nur ca. 10 gb wenn das n monat durchgeht) und ich hab zum glück viel mehr *froi*
     
  12. Pinhead

    Pinhead New Member

    Registriert seit:
    24. Juni 2000
    Beiträge:
    44
    AW: googlebot

    Der Googlebot läuft bei mir auch öfters durch. Zuletzt hatte aber der FAST-Spider gewaltigen Traffic verursacht... Einfach eine robots.txt erstellen und alle dynamischen Seiten (Dateinamen) eintragen, die nicht gespidert werden sollen.
     
  13. bon

    bon New Member

    Registriert seit:
    25. Juli 2002
    Beiträge:
    82
    AW: googlebot

    also google oder googlebot hält sich meines wissens an die robot.txt (http://www.robotstxt.org/wc/robots.html) bzw. an die header vorgaben in der html/php/etc. datei. wenn ich follows bzw. indexing verbiete ist der bot auch gleich wieder weg. kommt aber dennoch regelmäßig wieder um nachzugucken ob sich was geändert hat ...
     
  14. cyberfreddy

    cyberfreddy Erfahrener Benutzer

    Registriert seit:
    7. Februar 2001
    Beiträge:
    590
    AW: googlebot

    <META NAME="ROBOTS" CONTENT="nofollow">
    müßte auch reichen.
     
  15. diskogaenger

    diskogaenger New Member

    Registriert seit:
    28. Januar 2002
    Beiträge:
    538
    Ort:
    Rossau
    AW: googlebot

    danke für lösungsvorschläge - werds mal testen

    wobei ich trotzdem glaube dass es niccht normal ist, dass der alle paar min über die seite geht ... bei ner anderen page kam er meist aller ein oder 2 wochen
     
  16. FGK

    FGK Eingetragener Provider

    Registriert seit:
    1. Juni 2000
    Beiträge:
    1.527
    Firmenname:
    velia.net Internetdi...
    Anbieterprofil:
    Klick
    AW: googlebot

    http://www.google.com/bot.html#howoften
     
Status des Themas:
Es sind keine weiteren Antworten möglich.

Diese Seite empfehlen