Begriff drucken
Crawler
Ein Crawler, auch Spider oder Robot genannt, ist eine Software, die das Netz nach neuen oder aktualisierten Webseiten durchsucht. Robots sind bei Volltext-Suchmaschinen wie beispielsweise Google im Einsatz, die die gefundenen Seiten nach Stichwörtern in ihre Datenbank speichern (Indizierung).
siehe auch:
- Indizierung
- Metacrawler
- Robots
- Sitemaps
- Spider
- Suchmaschine
- User-Agent
- crawling
