Deep Crawl

Deep Crawl heißt auf gut Deutsch so viel wie Tiefen-Indexierung. Damit sind spezielle Techniken einiger Suchmaschinen gemeint, die alle Unterseiten von Webseiten gesondert durchsuchen und indizieren. Da aber nicht alle Suchmaschinen dieses Verfahren anwenden, ist es bei denen, die es nicht nutzen, nur möglich, Unterseiten bis zu einer bestimmten Verzeichnistiefe zu indizieren. Wiederum haben auch einige Suchmaschinen Kriterien bestimmt, anhand derer entschieden wird, welche Unterseiten indiziert werden und welche nicht. Typische Kriterien für diese Entscheidung sind die Link Popularity oder auch der PageRank der Seiten.
Arbeitet die Suchmaschine hingegen mit Deep Crawl, so werden die Unterseiten automatisch, also ohne gesonderte Anmeldung mit in den Index aufgenommen, sofern die Webseite selbst bereits indiziert ist.  Beim Deep Crawl werden die Informationen selbst  in der untersten Ebene noch gelesen. Dadurch erkennt man schnell, dass dies ein sehr zeitaufwändiger Vorgang ist, weshalb die Suchmaschinen mit Wartezeiten arbeiten. Anderenfalls würde der Server zu stark überlastet werden. In den jeweiligen Server-Logfiles kann man das Deep Crawling besonders gut beobachten.

Weitere Begriffe

Dateiname // Dateistruktur // Datensicherung // DAU // Deep Crawl // Deeplink // Defekter Link // Description // DFÜ (Datenfernübertragung) // DHTML // Dialer // Digital // Disclaimer // DMMV (Deutscher Multimedia Verband) // DMOZ // DNS (Domain Name System) // Domain // Domain Popularity // Domain Snapping // Doorwaypage // Doorwaypage Generator //