Ergebnis für Spider (1)
Spider
Ein Spider, auch Robot oder Crawler genannt, ist eine Software, die das Netz nach neuen oder aktualisierten Webseiten durchsucht. Spider sind bei Volltext-Suchmaschinen im Einsatz, die die gefundenen Seiten nach Stichwörtern in ihre Datenbank speichern (Indizierung).
Dabei spielen die auf der Webseite befindlichen suchmaschinenrelevanten META-Tags (Beschreibung und Schlüsselwörter) sowie der Seitentitel eine bedeutende Rolle für die Qualität der Suchmaschinenindizierung.
Webseitenbetreiber können den Suchmaschinen-Robots mitteilen, welche Bereiche der Website zur Suchmaschinenindizierung herangezogen werden sollen. Ermöglicht wird dies mittels Befehlen in einer eigens dafür im Hauptverzeichnis der Website platzierten Datei namens robots.txt.
Datenbank