Web Scraping und Web-Crawler mit Python - Erweitert

Web Scraping und Web-Crawler mit Python - Erweitert

Das World Wide Web enthält eine Vielzahl von Daten. Die Fähigkeit, die benötigten  Informationen daraus zu extrahieren, ist heutzutage für alle, die mit Daten arbeiten, eine Notwendigkeit. Natürlich gibt es bereits viele Datensätze, die in aufbereiteten  Formaten zum Download angeboten werden, aber in vielen Fällen wird man die Daten, die man benötigt, nicht so einfach finden. 
Oft liegen die Daten nämlich unstrukturiert vor und nicht per se in einem maschinenlesbaren, bequemen Format. Zum Beispiel alle Blogartikel in einem Blog, die einem gewissen Kriterium entsprechen oder Preise von Artikeln in einem Webshop.
Webscraping setzt einen Schritt vor dem Data-Mining an und beschäftigt sich daher weniger mit dem Pre-Prozessing und der Analyse der Daten, als eher mit dem  Extrahieren von Rohdaten in ein maschinenlesbares Format, zum Beispiel einer CSV Datei oder einer Datenbank-Tabelle. Web Scraping ist also das Verfahren, Daten aus (vornehmlich) Webseiten zu  extrahieren. 
Web Crawling hingegen ist das Verfahren, viele Seiten einer Hauptdomain einzulesen und zu durchsuchen. Damit lassen sich Webspider programmieren, die zum Beispiel periodisch Webangebote durchforsten. Python, als einsteigerfreundliche und einfache Skript- und Programmiersprache,  bietet sich für diese Aufgabe an. Mit relativ wenigen Zeilen Code lässt sich schon oft ein sehr gutes Ergebnis erzielen, um zum Beispiel alle Katalogpreise in eine Excel Datei zu überführen.