Crawlen ohne SQL

Web-Crawler Ebot 0.3 spricht mit No-SQL-Datenbanken

Web-Crawler Ebot 0.3 spricht mit No-SQL-Datenbanken

Mathias Huber
31.05.2010 Der verteilte Web-Crawler Ebot ist in Version 0.3 verfügbar. Sie unterstützt nun auch die Nicht-SQL-Datenbank Riak.

Neben Apache CouchDB kann die in Erlang geschriebene Software nun auch die No-SQL-Datenbank Riak als Backend verwenden. Daneben gibt es neue Optionen für die Verbindung zu Datenbank- und Queue-Servern im Netzwerk.

Ebot speichert die Daten zu den untersuchten URLs in einer No-SQL-Datenbank, die sich über eine REST-Schnittstelle abfragen lässt. Die noch zu besuchenden URLs reihen sich in eine AMQP-Queue ein. Dank der verteilten Architektur können mehrere Ebot-Crawler parallel laufen.

Die Ebot-Software ist unter GPLv3 lizenziert und verwendet freie Komponenten wie beispielsweise die HTTP-Bibliothek Mochiweb und das REST-Toolkit Webmachine. Einen Überblick über die Ebot-Architektur gibt eine Webseite des Entwicklers Matteo Redaelli, der Quellcode ist in einem Github-Repository zu finden.

Ähnliche Artikel

Kommentare

Aktuelle Fragen

Artikelsuche
Erwin Ruitenberg, 09.10.2014 07:51, 1 Antworten
Ich habe seit einige Jahre ein Dugisub LinuxUser. Dann weiß ich das irgendwann ein bestimmtes Art...
Windows 8 startet nur mit externer Festplatte
Anne La, 10.09.2014 17:25, 4 Antworten
Hallo Leute, also, ich bin auf folgendes Problem gestoßen: Ich habe Ubuntu 14.04 auf meiner...
Videoüberwachung mit Zoneminder
Heinz Becker, 10.08.2014 17:57, 0 Antworten
Hallo, ich habe den ZONEMINDER erfolgreich installiert. Das Bild erscheint jedoch nicht,...
internes Wlan und USB-Wlan-Srick
Gerhard Blobner, 04.08.2014 15:20, 2 Antworten
Hallo Linux-Forum: ich bin ein neuer Linux-User (ca. 25 Jahre Windows) und bin von WIN 8 auf Mint...
Server antwortet mit falschem Namen
oin notna, 21.07.2014 19:13, 1 Antworten
Hallo liebe Community, Ich habe mit Apache einen Server aufgesetzt. Soweit, so gut. Im Heimnet...