Was gehört in die robots.txt?

[ne-r-o]

Hi,

ich habe WP seit ca. 4-5 Wochen installiert und seit ein paar Tagen wird mein Blog auch bei Google gefunden,
aber es werden auch ein paar Seiten gefunden die bei Google und Co. nix verloren haben z.B. wp-login.php und wp-register.php.

Welche Dateien und Verzeichnisse, muss ich in die robots.txt "sperren" damit nur noch die Startseite, Beiträge, Statische Seiten, Kategorien und Archive gefunden werden?
Ist es sinnvoll an die Hyperlinks, die nicht gefunden werden sollen, ein rel="nofollow"-Attribut einzufügen?

[Johannes Ries]

Zitat von ne-r-o

aber es werden auch ein paar Seiten gefunden die bei Google und Co. nix verloren haben z.B. wp-login.php und wp-register.php.

Keine Antwort auf deine Frage aber nur kurz: Eigentlich kein Problem, weil ohne Passwort kommt eh niemand in deinen Adminbereich und wenn du die Möglichkeit nicht per Admin erlaubst, kann sich auch niemand einfach so registrieren.

[FinanzenTomate]

Mich würde interessieren, wie ich mein Impressum von der Indexierung durch Google ausschließen kann. Ich habe es als »statische Seite« eingebaut. Es geht nur um den Ausschluss dieser einzigen Seite. Wie muss die betreffende Zeile in der Datei »robots.txt« lauten?

[MCardy]

Googlesuche: robots.txt seiten ausschließen

Antwortlink: http://www.bjoernsworld.de/suchmasch...obots-txt.html

Sehr interessant

Gruß,

Marc

[suedkind]

ich verstehe nicht so ganz wo du da ein problem hast

1) das indexieren kannst du am besten damit verhindern, dass du sie nicht verlinkst, dein login wirst du ach so finden, liegt ja eh immer unter /wp-admin/

2) wenn es dir um sicherheit geht, würde ich dir empfehlen dein /wp-admin/ verzeichnis mit einem passwort zu schützen
habe es noch nie bei wordpress gemacht, keine ahnung, ob das seiteneffekte hat

[Johannes Ries]

Ein Tipp zum Validieren der robots.txt: http://tool.motoricerca.info/robots-checker.phtml

[alternative4]

google kümmert sich ohnehin herzlich wenig um die robot.txt

[Monika]

Zitat von alternative4

google kümmert sich ohnehin herzlich wenig um die robot.txt

das kann ich nicht bestätigen,
jede meiner robots.txt Dateien wurde immer noch von Google respektiert.

lg
Monika

[alternative4]

Zitat von Monika

das kann ich nicht bestätigen,
jede meiner robots.txt Dateien wurde immer noch von Google respektiert.

lg
Monika

dann hast du glück. verlassen kann man sich darauf aber in keinem fall. google nimmt auch permanent änderungen an den eingesetzten verfahren vor, die niemand zu 100% durchschaut.
außerdem gibt es ja nicht nur google.

[FinanzenTomate]

Hallo MCardy,

Danke, dass du mir die Suche über Google abgenommen hast. Meine »robots.txt«-Datei hat jetzt den folgenden

User-agent: *
Disallow: /blog/?page_id=760

Hallo alternative4,

außerdem gibt es ja nicht nur google.

Es gibt schon Pläne für eine europäische Google-Konkurrenz.