Chatbots sind derzeit en vogue. Für den Raspberry Pi 5 gibt es nun einen speziellen HAT, der sich auch für große Sprachmodelle eignet.
KI-Assistenten kommen inzwischen in vielen Bereichen des täglichen Lebens zum Einsatz und erleichtern zunehmend den Arbeitsalltag, indem sie Routineaufgaben selbstständig erledigen. Kommerzielle KI-Assistenten laufen allerdings meist in der Cloud und sind bei professionellem Einsatz kostenpflichtig. Zusätzlich bleibt bei ihnen in aller Regel der Datenschutz auf der Strecke, denn die entsprechenden Sprachmodelle entstammen fast immer US-amerikanischer Herkunft.
Doch es gibt mittlerweile auch KI-Sprachmodelle, die sich auf lokalen Infrastrukturen ausführen lassen und die keinen Cloud-Zugang benötigen. Doch sie haben einen Haken: Sie benötigen häufig eine exorbitante Rechenleistung, wie sie nur sündhaft teure Grafikkarten oder spezialisierte Hochleistungsprozessoren für Anwendungen der künstlichen Intelligenz bereitstellen. Herkömmliche PCs können zwar Chatbots und anwendungsspezifische kleinere Sprachmodelle ebenfalls ausführen, erreichen dabei jedoch oft keine zufriedenstellende Geschwindigkeit. Häufig ist nur eine sehr eingeschränkte Nutzung möglich.
KI auf dem Pi
Der Raspberry Pi verfügt in der aktuellen fünften Generation endlich über die nötigen Hardwarekapazitäten, um auch komplexere KI-Sprachmodelle zügig auszuführen. Die bei den älteren Varianten des britischen Kleincomputers vorhandenen Beschränkungen beim Arbeitsspeicher und den Schnittstellen sind inzwischen gefallen. Dank einer Arbeitsspeicherkapazität von 8 GByte und der endlich vorhandenen PCIe-Schnittstelle taugt der Einplatinenrechner nun für anspruchsvollere KI-Aufgaben.
Zudem hat die Raspberry Pi Foundation rechtzeitig Zubehör entwickelt, mit dem Sie Ihren Ras...
[...]
Liebe Leserin, lieber Leser,
dieser Artikel ist derzeit nicht in vollem Umfang online zugänglich.
Sie haben die Möglichkeit, diesen Beitrag als PDF zu erwerben. Dazu nutzen Sie bitte die Box unter dem Artikel. Alternativ erweben Sie die Ausgabe als PDF in unserem Online-Shop.
LinuxUser-Artikel werden 12 Monate nach der Erstveröffentlichung automatisch freigeschaltet. Weitere Artikel aus der Zeitschrift LinuxUser 06/2026 finden Sie im Archiv.
