Was ist Crawl?

Crawl ist ein Begriff, der den Prozess eines Bots, Skripts oder Softwareprogramms beschreibt, das eine Webseite besucht und den Inhalt und die Links auf dieser Seite erfasst. Nach Abschluss des Programms wird der nächste Link in der Liste oder einer der Links aufgerufen, die von der gerade besuchten Webseite abgerufen wurden.

Internet-Begriffe, Metacrawler, Suchmaschine, Spider