Crawler

Definition

 

Ein Crawler (auch: Webcrawler, Spider, Searchbot) ist ein Computerprogramm, welches das Internet automatisiert nach bestimmten Kriterien durchsucht und sowohl Webseiten als auch Information vollständig ausliest und indexiert (=eine Liste von Gegenständen oder Hinweisen anlegen).

Crawler funktionieren fast selbstständig und wiederholen dabei kontinuierlich die ihnen zugeschriebenen Aufgaben. Sie besuchen, ähnlich wie ein Mensch auch, Webseiten über Hyperlinks, welche bereits auf indexierten Webseiten integriert sind. So gelangen sie von einer Webseite immer zu der nächsten. Crawler sind an einen Index gebunden, sodass das Programm  die Websites anschließend nach vordefinierten Regeln auch in den Index aufnimmt.  Die Websites werden dann unter bestimmten Suchbegriffen unter den Ergebnisseiten gelistet.

Individuelle Beratung

Sie wollen mehr über Marketing wissen oder haben eine Projektanfrage? Schreiben sie mir einfach eine E-mail an Jakob.boeld@beast.bi.

 

 

 

In den meisten Fällen werden Crawler von Suchmaschinenbetreibern (so auch von Google) eingesetzt, um möglichst präzise Suchergebnisse liefern zu können. Leider haben Crawler auch ein Missbrauchspotential und werden teilweise zum illegalen Ausspähen von Userdaten verwendet.

Individuelle Beratung

Sie wollen mehr über IT wissen oder haben eine Projektanfrage? Schreiben sie mir einfach eine E-mail an tiberiu.novac@beast.bi