Begriff drucken
robots.txt
Webseitenbetreiber können den Suchmaschinen-Robots (Software, die das Internet automatisch nach neuen oder aktualisierten Webseiten durchsucht) mitteilen, welche Bereiche der Website nicht zur Suchmaschinenindizierung herangezogen werden sollen.
Ermöglicht wird dies mittels Befehlen in einer Textdatei namens robots.txt. In dieser Datei werden für jede Suchmaschine (User-agent) die Bereiche definiert, die in den Suchergebnissen nicht aufscheinen sollen.
Beispielsweise bestimmen die nachstehenden 2 Zeilen, daß alle (*) Suchmaschinen den Ordner "Ordnername" ignorieren sollen.
User-agent: *
Disallow: /Ordnername
Die robots.txt-Datei wird im Hauptverzeichnis der Website platziert.
http://www.robotstxt.org
siehe auch:
- Robots
- Sitemaps
- Suchmaschine