Crawler

Definition

Ein Crawler (auch: Webcrawler, Spider, Searchbot) ist ein Computerprogramm, welches das Internet automatisiert nach bestimmten Kriterien durchsucht und sowohl Webseiten als auch Information vollständig ausliest und indexiert (=eine Liste von Gegenständen oder Hinweisen anlegen).

Crawler funktionieren fast selbstständig und wiederholen dabei kontinuierlich die ihnen zugeschriebenen Aufgaben. Sie besuchen, ähnlich wie ein Mensch auch, Webseiten über Hyperlinks, welche bereits auf indexierten Webseiten integriert sind. So gelangen sie von einer Webseite immer zu der nächsten. Crawler sind an einen Index gebunden, sodass das Programm  die Websites anschließend nach vordefinierten Regeln auch in den Index aufnimmt.  Die Websites werden dann unter bestimmten Suchbegriffen unter den Ergebnisseiten gelistet.



In den meisten Fällen werden Crawler von Suchmaschinenbetreibern (so auch von Google) eingesetzt, um möglichst präzise Suchergebnisse liefern zu können. Leider haben Crawler auch ein Missbrauchspotential und werden teilweise zum illegalen Ausspähen von Userdaten verwendet.

Individuelle Beratung

Sie wünschen eine individuelle Beratung zum Thema Online Marketing?
Dann kontaktieren Sie uns einfach über unser Kontaktformular oder
schreiben Sie eine E-Mail an account.management@beast.bi!