Begriff drucken
crawling
Bezeichnung für das Durchsuchen des Netzes nach neuen oder aktualisierten Webseiten.
Ein Crawler, auch Spider oder Robot genannt, ist eine bei Volltext-Suchmaschinen im Einsatz befindliche Software, die die gefundenen Seiten nach Stichwörtern in deren Datenbank speichert (Indizierung).
siehe auch:
- Crawler
- Indizierung
- Robots
- Scraping
- Sitemaps
- Spider
- Suchmaschine
- robots.txt
