Bei einem Crawler handelt es sich um ein Computerprogramm, das das Internet nach Inhalten automatisch durchsucht, einen Index darüber erstellt und Internetnutzern in Verbindung mit Suchmaschinen zur Verfügung stellt. Wegen ihrer selbstständigen Funktionsweise werden Webseitencrawler oft auch als Robots, Searchbots, Suchmaschinenrobots etc. bezeichnet.
Auch wenn z.B. Crawler für E-Mail-Adressen oder Preisvergleiche existieren, konzentrieren wir uns in dieser Vorstellung auf den Webseiten-Crawler.
Der Name der ersten Suchmaschine des Internets war Webcrawler und stammt vom englischen Begriff für kriechen (to crawl), da das Programm quasi durch das Internet kriecht und jede Webseite nach Inhalten durchsucht und diese aufführt. Häufig wurde auch ein Vergleich zu einer Spinne und dem Weg, den sie auf ihrem Netz zurücklegt, gezogen, weswegen ebenfalls Namen wie Spider oder Webspider geläufig sind.Die Funktionsweise eines Crawlers kann man gut mit der Tätigkeit eines Bibliothekars vergleichen: Dieser katalogisiert Bücher nach einem bestimmten Schema und führt zugehörige Stichwörter in einem Index auf. Bibliotheksbesucher können dann mithilfe des Katalogs die gewünschten Bücher finden.
Je nachdem, was für Inhalte Du auf Deinen Unterseiten platzierst, kann es Sinn ergeben, dass diese nicht indiziert werden. Dis kannst Du erreichen, indem Du einen noindex-Metatag oder Canonical Tag auf der entsprechenden Seite einbindest.