Beispiel für eine robots.txt-Datei

# robots.txt for www.disainbyro.de - 1.1.2006
User-agent: *
Disallow: /cgi-bin/
Disallow: /logs/
Disallow: /ftp/

Verbindliche Nutzungsbestimmungen: Copyright © 1998-2009 disainbyro®. Alle Rechte vorbehalten.
Letztes Update: 11.8.2009 (valides xhtml/css)
Technische Probleme: Wenden Sie sich bitte an den Webmaster.

Ihr Experten-Netzwerk