Begriff mailen
Crawler
Ein Crawler, auch Spider oder Robot genannt, ist eine Software, die das Netz nach neuen oder aktualisierten Webseiten durchsucht. Robots sind bei Volltext-Suchmaschinen wie beispielsweise Google im Einsatz, die die gefundenen Seiten nach Stichwörtern in ihre Datenbank speichern (Indizierung).
