Verzeichnisse schützen per robots.txt

[Lucky]

Welche Verzeichnisse sollte man konkret per robots.txt oder htaccess bei der Vers. 1.5 von der Indizierung durch Spider etc. sperren ? Habe dazu recht wenig gefunden und noch zu wenig Erfahrung mit Blogs.
Stelle mir das also so in der robots.txt vor:

Disallow: /wp-admin
Disallow: /wp-login


Welche Verzeichnisse habt ihr alles geschützt ?

[MaxED9]

prinzipiell folgen Spider von Suchmaschinen nur Links, und gehen demzufolge nicht in Verzeichnisse, die nicht bekannt sind oder im Blog irgendwo verwendet werden.

Weiterhin sollte der Server keine Verzeichnislisten ausgeben sofern kein Standarddokument (index.php, index.htm etc) vorhanden ist, sondern Fehler 403 (forbidden)

das löst man in der .htaccess mit:
Options -Indexes
meist is dies aber Standard auf den Webservern

den Adminbereich kann der Spider auch nicht weiter durchsuchen, da ja dort eine Passwortabfrage stattfindet, um es aber Hackern schwerer zu machen kann man hier per .htaccess und .htpasswd zusätzlich schützen.

Die Robots.txt ist leider nur eine "Empfehlung" für Suchmaschinen und es gibt auch schwarze Schafe unter ihnen, die dies einfach ignorieren.
Hier hilft es nur Logfiles studieren und diese Suchmaschinen komplett aussperren mit IP oder Domainpart in der .htaccess.
So kann man sich auch lästige Email-Harvester oder Siteripper ersparen. Einen 100%igen Schutz gibt es aber dennoch nicht.


Mehr Infos zur .htaccess http://www.trash.net/faq/htaccess.shtml
http://httpd.apache.org/docs/

für die Harvester