Ergebnis für Robots (2)
Robots
Ein Robot, auch Spider oder Crawler genannt, ist eine Software, die das Netz nach neuen oder aktualisierten Webseiten durchsucht. Robots sind bei Volltext-Suchmaschinen im Einsatz, die die gefundenen Seiten nach Stichwörtern in ihre Datenbank speichern.
Dabei spielen die auf der Webseite befindlichen suchmaschinenrelevanten META-Tags (Beschreibung und Schlüsselwörter) sowie der Seitentitel eine bedeutende Rolle für die Qualität der Suchmaschinenindizierung.
Webseitenbetreiber können den Suchmaschinen-Robots mitteilen, welche Bereiche der Website zur Suchmaschinenindizierung herangezogen werden sollen. Ermöglicht wird dies mittels Befehlen in einer eigens dafür im Hauptverzeichnis der Website platzierten Datei namens robots.txt.
siehe auch:
Clickbotrobots.txt
Webseitenbetreiber können den Suchmaschinen-Robots (Software, die das Internet automatisch nach neuen oder aktualisierten Webseiten durchsucht) mitteilen, welche Bereiche der Website nicht zur Suchmaschinenindizierung herangezogen werden sollen.
Ermöglicht wird dies mittels Befehlen in einer Textdatei namens robots.txt. In dieser Datei werden für jede Suchmaschine (User-agent) die Bereiche definiert, die in den Suchergebnissen nicht aufscheinen sollen.
Beispielsweise bestimmen die nachstehenden 2 Zeilen, daß alle (*) Suchmaschinen den Ordner "Ordnername" ignorieren sollen.
User-agent: *
Disallow: /Ordnername
Die robots.txt-Datei wird im Hauptverzeichnis der Website platziert.
