Ergebnis für robots.txt (1)
robots.txt
Webseitenbetreiber können den Suchmaschinen-Robots (Software, die das Internet automatisch nach neuen oder aktualisierten Webseiten durchsucht) mitteilen, welche Bereiche der Website nicht zur Suchmaschinenindizierung herangezogen werden sollen.
Ermöglicht wird dies mittels Befehlen in einer Textdatei namens robots.txt. Diese Datei wird im Hauptverzeichnis der Website platziert. In der robots.txt Datei werden für jede Suchmaschine (User-agent) die Bereiche definiert, die in den Suchergebnissen nicht aufscheinen sollen.
Beispielsweise bestimmen die nachstehenden 2 Zeilen, daß alle (*) Suchmaschinen den Ordner "Ordnername" ignorieren sollen.
User-agent: *
Disallow: /Ordnername
http://www.robotstxt.orgsiehe auch:
Begriffe 1 bis 1 von 1
