Web-Crawler Ebot 0.3 spricht mit No-SQL-Datenbanken

Web-Crawler Ebot 0.3 spricht mit No-SQL-Datenbanken

Crawlen ohne SQL

Mathias Huber
31.05.2010 Der verteilte Web-Crawler Ebot ist in Version 0.3 verfügbar. Sie unterstützt nun auch die Nicht-SQL-Datenbank Riak.

Neben Apache CouchDB kann die in Erlang geschriebene Software nun auch die No-SQL-Datenbank Riak als Backend verwenden. Daneben gibt es neue Optionen für die Verbindung zu Datenbank- und Queue-Servern im Netzwerk.

Ebot speichert die Daten zu den untersuchten URLs in einer No-SQL-Datenbank, die sich über eine REST-Schnittstelle abfragen lässt. Die noch zu besuchenden URLs reihen sich in eine AMQP-Queue ein. Dank der verteilten Architektur können mehrere Ebot-Crawler parallel laufen.

Die Ebot-Software ist unter GPLv3 lizenziert und verwendet freie Komponenten wie beispielsweise die HTTP-Bibliothek Mochiweb und das REST-Toolkit Webmachine. Einen Überblick über die Ebot-Architektur gibt eine Webseite des Entwicklers Matteo Redaelli, der Quellcode ist in einem Github-Repository zu finden.

Ähnliche Artikel

Kommentare

Aktuelle Fragen

Welche Drucker sind Linux-mint kompatibel?
Johannes Nacke, 20.05.2016 07:32, 4 Antworten
Hallo Ihr Lieben, ich bitte um mitteilung welche Drucker Kompatibel sind mit Linux-Mint. LG Joh...
MS LifeCam HD-5000 an Debian
Kay Michael, 13.04.2016 22:55, 0 Antworten
Hallo, ich versuche die oben erwähnte Cam an einem Thin Client mit Debian zu betreiben. Linux...
Import von Evolution nach KMail erzeugt nur leere Ordner
Klaus-Christian Falkner, 06.04.2016 12:57, 3 Antworten
Hallo, da ich vor einiger Zeit von Ubuntu auf Kubuntu umgestiegen bin, würde ich gerne meine E...
Sophos lässt sich nicht unter Lubuntu installieren
Chrstina Turm, 30.03.2016 20:56, 3 Antworten
Hi Leute, habe mir vor paar Tagen auf ein Notebook, das ohne Linux ausgedient hätte, Linux dr...
Novell Client auf Raspbian
Chris Baum, 16.03.2016 15:13, 3 Antworten
Hallo Community, ich hätte eine Frage, und zwar geht es um folgendes: Ich möchte eine Datei...