Help - Files vor Robots schützen? Antwort

Geht mit dem Robots Exclusion Standard, nach dem man ein Textfile namens robots.txt erstellt und dieses im Root-Directory der Domain plaziert (z.B. http://www.uli-arndt.de/robots.txt).

Aufbau der 'robots.txt'

1.Angabe (User-agent) für welchen Robot gelten die Anweisungen
2.Angabe (Disallow) die Anweisungen.

Beispiel

# robots.txt fuer http://www.www.uli-arndt.de/
#
User-agent: Robot_1
Disallow: /stats/       # Files im Dir 'stats' nicht indizieren
Disallow: /php/         # Files im Dir 'php' nicht indizieren
Disallow: /private.html # geht niemanden was an

Erläuterung

User-agent: Robot_1
==> Anweisungen gelten nur für Robot_1
User-agent: Robot_1
User-agent: Robot_2
User-agent: Robot_3
==> Anweisungen gelten für die Robots 1,2 und 3
User-agent: *
==> Anweisungen gelten für alle Robots

Disallow: /temp/
==> temp nicht indizieren
Disallow: /
==> keine Seite indizieren
Disallow:
==> alle Seiten indizieren

Häufige Fehler beim Setzen des Slash

Disallow: /temp
==> Verbietet Robots den Zugriff auf das Directory temp, aber auch auf Directories, die mit temp beginnen, sowie auf Files wie z.B. template.html.

Mehrfach-Angaben

# robots.txt fuer http://www.www.uli-arndt.de/
#
User-agent: Robot_1
Disallow: /

User-agent: Robot_2
User-agent: Robot_3
Disallow:

User-agent: *
Disallow: /php/
Disallow: /private.html # geht niemanden was an

==> Die Anweisungen für '*' werden nur von Robots interpretiert, die nicht zuvor angegeben wurden.
==> Die Robots 1,2 und 3 missachten die Angaben für '*'.
==> Robot 1 darf nichts indizieren
==> Robots 2 und 3 dürfen alles indizieren
==> alle anderen Robots dürfen alles indizieren, außer den Files im Directory php und das File private.html.

Sonstiges

Kommentare beginnen mit dem Zeichen '#' und werden von den Robots überlesen.
Groß-/Klein-Schreibung muss bei der Disallow-Angabe nicht beachtet werden. zurück