
# robots.txt-Datei für //www.computerhope.comUser-agent: * Disallow: / directory1 /Nicht zulassen: / verzeichnis2 /
In obigem Beispiel robots.txt ist die erste Zeile eine nicht ausführbare Anweisung, die die Datei beschreibt. Als Nächstes zeigt die User-Agent- Zeile an, welche Roboter oder Bots diesem Abschnitt der Datei folgen sollen. Im obigen Beispiel steht * für alle Bots. Die nächsten zwei Zeilen sind schließlich die beiden Verzeichnisse, die die Bots nicht indexieren sollen.
Wenn Sie möchten, dass ein Bot alle URLs auf Ihrer Website abfragen soll, geben Sie den Namen des Bots ein, gefolgt von nicht zulassen: mit einem leeren Wert (siehe Beispiel unten).
Benutzeragent: Somebot *Nicht zulassen:
Internet-Begriffe, Meta-Tags, Roboter, SEO-Begriffe, Sitemap, Web-Design-Begriffe