Datei, mit der Web-Bots gesteuert werden, welche Seiten und Verzeichnisse indiziert werden sollen oder nicht. Diese Datei muss sich im Stammverzeichnis auf dem Server befinden, auf dem sich Ihre Seiten befinden. Die Datei sollte robots.txt heißen und über Leseberechtigungen verfügen. Unten sehen Sie ein Beispiel für eine robots.txt-Datei.

 # robots.txt-Datei für //www.computerhope.comUser-agent: * Disallow: / directory1 / 
Nicht zulassen: / verzeichnis2 /

In obigem Beispiel robots.txt ist die erste Zeile eine nicht ausführbare Anweisung, die die Datei beschreibt. Als Nächstes zeigt die User-Agent- Zeile an, welche Roboter oder Bots diesem Abschnitt der Datei folgen sollen. Im obigen Beispiel steht * für alle Bots. Die nächsten zwei Zeilen sind schließlich die beiden Verzeichnisse, die die Bots nicht indexieren sollen.

Wenn Sie möchten, dass ein Bot alle URLs auf Ihrer Website abfragen soll, geben Sie den Namen des Bots ein, gefolgt von nicht zulassen: mit einem leeren Wert (siehe Beispiel unten).

 Benutzeragent: Somebot *
Nicht zulassen: 

Internet-Begriffe, Meta-Tags, Roboter, SEO-Begriffe, Sitemap, Web-Design-Begriffe