Web-Crawler Ebot 0.3 spricht mit No-SQL-Datenbanken

Web-Crawler Ebot 0.3 spricht mit No-SQL-Datenbanken

Crawlen ohne SQL

Mathias Huber
31.05.2010 Der verteilte Web-Crawler Ebot ist in Version 0.3 verfügbar. Sie unterstützt nun auch die Nicht-SQL-Datenbank Riak.

Neben Apache CouchDB kann die in Erlang geschriebene Software nun auch die No-SQL-Datenbank Riak als Backend verwenden. Daneben gibt es neue Optionen für die Verbindung zu Datenbank- und Queue-Servern im Netzwerk.

Ebot speichert die Daten zu den untersuchten URLs in einer No-SQL-Datenbank, die sich über eine REST-Schnittstelle abfragen lässt. Die noch zu besuchenden URLs reihen sich in eine AMQP-Queue ein. Dank der verteilten Architektur können mehrere Ebot-Crawler parallel laufen.

Die Ebot-Software ist unter GPLv3 lizenziert und verwendet freie Komponenten wie beispielsweise die HTTP-Bibliothek Mochiweb und das REST-Toolkit Webmachine. Einen Überblick über die Ebot-Architektur gibt eine Webseite des Entwicklers Matteo Redaelli, der Quellcode ist in einem Github-Repository zu finden.

Ähnliche Artikel

Kommentare

Aktuelle Fragen

Brother Drucker DCP-J4120
Achim Zerrer, 09.12.2016 18:08, 0 Antworten
Hallo, ich wollte unter Leap 42.1 den Brother Drucker installieren und dazu das PPD- Datei vom do...
Drucker Epson XP-332 unter ubuntu 14.04 einrichten
Andrea Wagenblast, 30.11.2016 22:07, 2 Antworten
Hallo, habe vergeblich versucht mein Multifunktionsgerät Epson XP-332 als neuen Drucker unter...
Apricity Gnome unter Win 10 via VirtualBox
André Driesel, 30.11.2016 06:28, 2 Antworten
Halo Leute, ich versuche hier schon seit mehreren Tagen Apricity OS Gnome via VirtualBox zum l...
EYE of Gnome
FRank Schubert, 15.11.2016 20:06, 2 Antworten
Hallo, EOG öffnet Fotos nur in der Größenordnung 4000 × 3000 Pixel. Größere Fotos werden nic...
Kamera mit Notebook koppeln
Karl Spiegel, 12.11.2016 15:02, 2 Antworten
Hi, Fotografen ich werde eine SONY alpha 77ii bekommen, und möchte die LifeView-Möglichkeit nu...