Begriff mailen
Robots
Ein Robot, auch Spider oder Crawler genannt, ist eine Software, die das Netz nach neuen oder aktualisierten Webseiten durchsucht. Robots sind bei Volltext-Suchmaschinen im Einsatz, die die gefundenen Seiten nach Stichwörtern in ihre Datenbank speichern.
Dabei spielen die auf der Webseite befindlichen suchmaschinenrelevanten META-Tags (Beschreibung und Schlüsselwörter) sowie der Seitentitel eine bedeutende Rolle für die Qualität der Suchmaschinenindizierung.
Webseitenbetreiber können den Suchmaschinen-Robots mitteilen, welche Bereiche der Website zur Suchmaschinenindizierung herangezogen werden sollen. Ermöglicht wird dies mittels Befehlen in einer eigens dafür im Hauptverzeichnis der Website platzierten Datei namens robots.txt.
