Googlebot greift auf unsinnige URLs zu

[CSe]

Tach zusammen,

ich habe in meinen Logs Sonderbares gefunden.

66.249.72.180 - - [12/Dec/2007:02:26:43 +0100] "GET /qkwglcawns.html HTTP/1.1" 404 1038 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.72.180 - - [13/Dec/2007:05:01:35 +0100] "GET /dsnjnlleolztx.html HTTP/1.1" 404 1038 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.72.180 - - [15/Dec/2007:06:19:44 +0100] "GET /yzmudogotjmzap.html HTTP/1.1" 404 1038 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.72.180 - - [16/Dec/2007:07:41:49 +0100] "GET /wwwufbwrcgiaz.html HTTP/1.1" 404 1038 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

Ich habe Xenu Link Sleuth drüberlaufen lassen und finde keine Links, die zu diesen Seiten führen sollen. Ein Referrer ist beim Zugriff auch nicht angeben.

Interessant ist auch, dass bei drei dieser vier Zugriffe unmittelbar zuvor die leere robots.txt abgefragt wurde.

Kann mir bitte mal jemand erklären, die der Googlebot auf die blöde Idee kommt, diese komischen Dateinamen anzufordern? Das Ergebnis sind natürlich HTTP404, da diese Seiten nicht existieren.

Das geht jetzt schon seit knapp einem Jahr so. Bei Bedarf kann ich alle diese Zugriffe zur Verfügung stellen.

[Ammaletu]

Ich hab letztens mal über den Yahoobot gelesen, dass der das absichtlich macht, um zu sehen, wie Seiten mit 404-Fehlern umgehen. Es gibt ja diese nervigen Seiten, die jede Eingabe akzeptieren und daraus eine Seite generieren mit wenig bis keinem Bezug zur Eingabe, dafür aber mit viel Werbung drauf. Um solche Spam-Seiten besser zu erkennen, versucht der Yahoo-Bot, mit einer definitiv falschen URL herauszufinden, ob eine bestimmte Website einen 404 zurückschickt. Habe leider keinen Link parat, könnte mir aber vorstellen, dass es sich bei deinen Aufrufen vom Googlebot um die gleiche Sache handelt.