Menü
A A A
www.e-lexikon.at

Begriff drucken

robots.txt

Webseitenbetreiber können den Suchmaschinen-Robots (Software, die das Internet automatisch nach neuen oder aktualisierten Webseiten durchsucht) mitteilen, welche Bereiche der Website nicht zur Suchmaschinenindizierung herangezogen werden sollen.

Ermöglicht wird dies mittels Befehlen in einer Textdatei namens robots.txt. In dieser Datei werden für jede Suchmaschine (User-agent) die Bereiche definiert, die in den Suchergebnissen nicht aufscheinen sollen.

Beispielsweise bestimmen die nachstehenden 2 Zeilen, daß alle (*) Suchmaschinen den Ordner "Ordnername" ignorieren sollen.

User-agent: *
Disallow: /Ordnername

Die robots.txt-Datei wird im Hauptverzeichnis der Website platziert.

http://www.robotstxt.org

siehe auch:

  • Robots
  • Sitemaps
  • Suchmaschine
 

drucken

zum Lexikon

Kostenloses Abonnement - Aktuellen Begriff per E-Mail erhalten

Neue Begriffe

Meistgesuchte Begriffe

Links

Abonniere den e-lexikon-Newsletter und wir informieren dich regelmäßig über aktuelle Begriffe!

© 2024 www.e-lexikon.at