Eine neue Zusatzplatine (HAT) rüstet auf dem Raspberry Pi 5 einen KI-Beschleuniger nach, der endlich auch einige generative KI-Modelle ausführen kann. Möglich macht das der Chip Hailo-10H und etwas Hauptspeicher.
Wer dem Raspbery Pi etwas künstliche Intelligenz beibringen wollte, konnte bislang zum AI HAT+ greifen. Auf ihm werkelte wahlweise der KI-Chip Hailo-8 oder der Hailo-8L. Mit einer Leistung von 26 TOPS beziehungsweise 13 TOPS halfen sie vor allem bei der Objekterkennung und anderen visuellen Aufgaben. Viele generative Sprachmodelle waren jedoch für die Chips zu umfangreich. Ändern soll das jetzt das neue AI HAT+ 2.
Die Platine kommt mit dem leistungsstärkeren Hailo-10H AI-Beschleuniger, der zudem auf einen eigenen 8 GByte großen Speicher zurückgreifen kann. Wie schon das AI HAT+ dockt die überarbeitete Fassung mit einem Flachbandkabel an den PCIe-Anschluss des Raspberry Pi 5 an. Mit älteren Raspberry-Pi-Modellen arbeitet das AI HAT+ 2 folglich nicht zusammen.
Im Vergleich zu den Vorgängern kommt der AI HAT+ 2 auf 40 TOPS bei Modellen, die das INT4-Format benutzen. Damit lassen sich auf dem Beschleuniger viele bekannte Large Language Models in annehmbarer Zeit ausführen – sofern sie in die 8 GByte Speicher passen. Laut den Entwicklern laufen etwa die Modelle DeepSeek-R1-Distill und Qwen2 mit jeweils 1,5 Milliarden Parametern. Bei der Ausführung hilft das Werkzeug „hailo-ollama“ und die zugehörige Benutzeroberfläche „Open WebUI“.
Bildverarbeitende Anwendungen, die beispielsweise eine auf Yolo basierende Objekterkennung durchführen, laufen auf dem AI HAT+ 2 genauso schnell wie auf der 26-TOPS-Variante des AI HAT+. Wie dort muss man auch beim AI HAT+ 2 bestehende Modelle über den Hailo Dataflow Compiler (HDC) in ein passendes Format umwandeln.
Des Weiteren integriert sich der AI HAT+ 2 mit dem Kamera-Software-Stack – unter anderem libcamera, die Rpicam-Apps und Picamera2 unterstützen die Platine von Haus aus. Dies erleichtert gleichzeitig den Umstieg vom alten AI HAT+ auf das neue Modell.
Die Leistungsfähigkeit und der zusätzliche Speicher machen sich allerdings auch im Preis bemerkbar: Während der AI HAT+ schon ab 80 Euro zu haben ist, schlägt der AI HAT+ 2 mit rund 140 Euro zu Buche.
