Googlebot erstellt selbst Suchanfragen

[Putzlowitsch]

Zitat von Alphawolf

...
Für mich klingt dabei dann die Google Toolbar Idee am schlüssigsten irgendwie (obwohl es schon komisch ist, dass deine Wortschöpfungen gesucht werden). Man müsste dazu mal mit diesem Plugin gegenchecken, welche Wörter die User in das Suchform eintragen und suchen und welche Wörter der Googlebot einträgt. Vielleicht gibt's da ja ne Kongruenz.

Für mich klingt die Google-Toolbar-Theorie überhaupt nicht schlüssig
Meine Auswertung der Logfiles hat ergeben, das wie oben bereits erwähnt, Google bisher 2155 mal meine Blogsuche mit 770 unterschiedlichen Wörtern befragt hat. Normale Nutzer haben bisher 136 mal nach 103 verschiedene Wörtern (und Wortkombinationen, das macht Google nicht) gesucht. Es gibt aber nur ganze 9 (in Worten: neun) Überschneidungen.

Gruß
Ingo

[Alphawolf]

Ich probiere das jetzt auch mal mit dem SearchMeter Plugin zum Abgleichen.

Hier gibt's übrigens ähnliche Meinungen wie hier: Googlebot going through internal search forms

Auch interessant: Google indexing large volumes of (unlinked?) dynamic pages
(Ich weiß, viel zu lesen )..

Was mich wundert ist, dass überall gesagt wird, dass Google nie ein Formular abschicken wird (es sei denn, du willst es für geschützte Seiten). Offenbar hat sich dies aber geändert, wenn ich mir dieses Patent anschaue: United States Patent Application: 0060230033
Ich kann mir aber dennoch nicht vorstellen, dass der Bot zufällige Abfragen ausführt, sondern dass die irgendwo herkommen und Google sie nur ausführt, und so vielleicht "menschlicher" agieren soll (indem er "human queries" crawlt). Das würde IMO wieder für die Toolbar/Analytics Theorie sprechen.. leider bisher nur eine Theorie.

[Putzlowitsch]

Naja, zumindest zeigen mir die Links, das ich nicht der einzige bin, der das beobachtet hat und sich darüber Gedanken macht.

Wobei ich die Toolbar/Analytics-Theorie wohl irgendwie noch nicht ganz verstanden habe. Ich verwende weder das eine, noch das andere.

Gruß
Ingo

[spickzettel]

Das (aus dem zweiten Link) scheint mir auch plausibel:

- Googlebot is spidering GET forms by getting the form variables and either leaving them blank or assigning values to them (sometimes taken from options in the form itself)
- Google has a list of words present on the site
- This list of words is being used to populate the form variables, and the URL requested via GET

...

It would be an odd thing to do, but would allow Google to access data that would previously be hidden to spidering, I suppose. (Hervorhebung von mir)

[Putzlowitsch]

Das ist ja im Prinzip genau das, was ich behaupte "Googlebot erstellt selbst Suchanfragen"

Er nimmt halt nicht nur Links, die er irgendwann mal irgendwo "gesehen" hat, sondern baut mit den GET-Variablen und der Wortliste selbständig Anfragen zusammen. Das Google niemals nicht selbständig Formulare ausfüllt, kann man also so nicht mehr sagen.

Gruß
Ingo

[ben]

dies kommt bei mir auch vermehrt vor.

ich würde mir das so erklären:

google möchte ihre suchergebnisse verbessern, und vielleicht irgendwie eine art semantische suche aufbauen.

wenn der G-bot auf ein wort stößt, welches auf dem weblog ungewöhnlich oft vorkommt, oder gar gänzlich neu ist, dann versucht der bot herauszufinden, was mit diesem wort zu tun haben könnte. also versucht er ein möglichst eng verwandtes vokabular zu identifizieren. und wo sucht man besser, als an der quelle selbst?

google könnte zwar auch den eigenen index durchsuchen, allerdings schätzt man bei google die treffgenauigkeit wohl als besser ein, wenn man die seiteneigene suche nutzt. Diese ist nämlich aktueller, und liefert wohl auch mehr ergebnisse, als im google index zu finden sind.

[Monika]

Referrer-Spam von Google und Microsoft - SISTRIX Suchmaschinen Blog

google will so cloaking ausfindig machen, könnt logisch sein, aber bis dato machte dies meist nur msn

lg

[Alphawolf]

Vielleicht macht Google das, aber zumindest bei mir scheint das nicht der Fall zu sein, zumindest sagen das meine Logs. Ich werd Google mal anschreiben, vielleicht sagen die es mir ja.

"Ja, auf Ihrer Seite testen wir das seit geraumer Zeit, da wir so Ihren AdSense CTP-Wert in die Höhe treiben sollen.."

[alpha-centauri]

Zitat von Monika

sperre dies per robots.txt aus, zumindest die Indexierung

das sind de facto keine Suchanfragen des google bots, sondern er sucht nach diesen Seiten weil die mal im Index gelandet sind und er sie wieder abgrasen mag...


Disallow: /?s*

lg

Gute Idee. Gleich bei mir eingestellt

[Alphawolf]

Eine weitere Möglichkeit ist dies hier: Google mit Suchfeldern in den Serps

Obwohl die Seite, um die es bei mir geht, nicht sonderlich groß ist (~ 500 Seiten), weshalb die für mich sicherlich kein solches Suchfeld vorsehen werden..