Durch KI-Sprachgeneratoren verbesserte Suchmaschinen werden heiß diskutiert. Wir vergleichen die KIs hinter Microsoft Bing Chat und Google Bard.

Durch Sprachgeneratoren verbesserte Suchmaschinen gelten derzeit als der letzte Schrei und lösen hitzige Diskussionen aus. Allerdings kann hier nicht etwa Google erste Erfolge vermelden: Ausgerechnet Microsoft preschte hier im Gespann mit OpenAI vor und entwickelte Bing Chat [1]. Der Bot kann diverse Fragen beantworten, Texte zusammenfassen oder die Nachrichten des Tages auflisten.

Der Google-Konzern Alphabet dagegen hatte zum Zeitpunkt der Ankündigung von Bing Chat nichts Vergleichbares vorzuweisen. Das Unternehmen arbeitet seit einiger Zeit am Chatbot Bard [2], der mittels Google und den KI-Ressourcen des größten Suchmaschinenanbieters enormes Potenzial haben könnte.

Mehrere Wochen lang durften US-Kunden Bard bereits testen, nun gibt es seit Mitte Juli 2023 die Software auch in Deutschland. Das große Potenzial sehen wir nach unserem ersten Test mit Bard allerdings noch nicht. Dafür entdeckten wir ein paar Grammatikfehler und jede Menge falsche Informationen. Würden wir Bard im jetzigen Zustand vertrauen, könnten wir schnell in unangenehme Situationen geraten. Hier muss Google dringend nachbessern. Immerhin kennzeichnet das Unternehmen seinen Chatbot auch ausdrücklich noch als Preview-Version.

Um Bard zu testen, haben wir dessen aktuelle Version in Google Chrome mit Microsofts Bing Chat in Microsoft Edge verglichen. Beiden Programme stellten wir ein paar einfache Fragen aus dem täglichen Leben.

Gute Deutschkenntnisse

Es fällt auf, dass sowohl Bard als auch Bing Chat bereits gut mit deutscher Grammatik und Rechtschreibung umgehen können. Allerdings wirkt der Satzbau von Googles KI-Tool aktuell noch etwas gestelzt, teilweise klingen die Antworten nach Google Translate. Browser beschreibt Bard etwa mit dem Pronomen “es”. Der Chatbot beantwortet unsere Frage nach dem besten Browser für Windows 11 so: “Chrome ist schnell, zuverlässig und einfach zu bedienen. Es hat auch eine große Auswahl an Erweiterungen und Addons, sodass Sie es nach Ihren Wünschen anpassen können.”

Der Satz könnte so auch direkt von Google Translate stammen. In Bing Chat finden wir ebenfalls noch einige Fehler, vor allem wenn die Software im “kreativen” Modus läuft. Insgesamt wirkt die generierte Sprache aber etwas natürlicher.

Bei leicht verändertem Prompt gibt Google auf die Frage nach dem besten Browser dann eine diplomatischere Antwort und listet verschiedene Programme auf, die je nach individuellen Präferenzen der beste Browser für die Zwecke des Nutzers sein könnten.

Bard schwadroniert

Beim ersten Versuch bemerkten wir direkt ein weiteres Problem, das sich noch verstärken könnte: Googles Chatbot empfiehlt Googles Browser wie aus dem Handbuch für aufdringliches Marketing. So eine Meinungsmache erscheint bei Werkzeugen, die menschlichen Nutzern das Recherchieren und – dystopisch weitergedreht – das Denken abnehmen könnten, sehr gefährlich.

Eine ähnliche Reaktion auf die Browser-Frage hatten wir aber eigentlich auch bei Bing Chat erwartet. Weit gefehlt: Statt Microsoft Edge zu loben, gibt die Microsoft-KI den nützlichen Tipp, sich von Webbrowsern selbst ein Bild zu machen. Sie betont, als Suchmaschinen-Tool sei sie nicht in der Lage, ein bestimmtes Produkt besser als andere zu bewerten.

Auf die Frage, welche drei Browser sich für Windows 11 am besten eignen, antworten beide Programme identisch: Auf der Liste stehen Google Chrome, Microsoft Edge und Mozilla Firefox. Bard wirkt hier allerdings etwas gesprächiger und beschreibt die jeweiligen Browser in kurzen Absätzen, während Bing Chat nur eine Auflistung in drei Stichpunkten ausgibt. Fairerweise muss man sagen, dass Bard auch Edge und Firefox nicht schlechtredet. Es hat den Anschein, dass sich die Software von den Marketing-Texten der jeweiligen Hersteller beeinflussen lässt.

Bard und Bing Chat haben beide ein ähnliches Problem: Sie stellen Fakten teils falsch oder in einem falschen Kontext dar. Allerdings hat Bard bisher nicht einmal gelernt, wie Quellenangaben funktionieren.

Problematische Quellen

Kurz nach dem Release wurde Bing Chat oft wegen falscher und nicht mehr aktueller Informationen kritisiert. Ähnliche Probleme gibt es auch bei Google Bard, offenbar sogar in verschärfter Form. Der Chatbot stellt nicht nur Informationen teilweise falsch dar, die KI greift dabei auch auf veraltete Informationen zurück. Das erstaunt umso mehr, als sie theoretisch ja Zugriff auch auf Googles opulente Suchressourcen haben müsste.

Im jetzigen Zustand fallen für Bard deshalb bestimmt Nutzungsszenarien flach. Zur Information über aktuelle Nachrichten oder die politische Lage taugt der Google-Chatbot nicht. Für ihn leitet beispielsweise noch immer Christine Lambrecht (SPD) das Bundesverteidigungsministerium (Abbildung 1), während Bing Chat die korrekte Information zur Verfügung stellt (Abbildung 2): Seit dem 19. Januar 2023 hat der SPD-Politiker Boris Pistorius dieses Amt inne.

Abbildung 1: Google Bard liegt beim Verteidigungsminister daneben und nennt Christine Lambrecht statt Boris Pistorius.

Abbildung 2: Bing Chat kennt, anders als Google Bard, den Namen des aktuellen Verteidigungsministers.

Interessanterweise kennt eigentlich auch Google Bard die korrekte Antwort, wenn man die Frage in geeigneter Form stellt: “Wer ist Boris Pistorius?”. Der Prompt “Wer ist für das Verteidigungsministerium verantwortlich?” funktioniert hingegen nur mit Bing Chat.

Dieses Beharren auf veralteten Informationen zeigt sich im Test auch bei weiteren Anfragen. So wollten wir von Bard und Bing Chat etwa drei wichtige News im Bereich IT und Tech erhalten. Bing Chat teilt uns daraufhin mit, dass sich Google Bard nun auch in Deutschland nutzen lasse, Apple eine Sicherheitslücke in iOS geschlossen habe, und die EU-Kommission Regeln für den Datenaustausch mit den USA aufstelle – zu dem Zeitpunkt alles relevante News aus dem genannten Sektor.

Bard blieb bei der identischen Fragestellung nicht nur sehr vage, sondern lag vor allen Dingen komplett daneben. So hielt es für neu, dass Meta neue Metaverse-Features versprochen, Apple neue Macbooks vorgestellt und Google neue Pixel-Smartphones angekündigt habe. Das alles war wirklich passiert, aber schon Wochen und Monate vorher.

Veraltete Infos

Es scheint so, als greife Bard auf ein trainiertes Sprachmodell zurück, das Google bereits vor einiger Zeit fertiggestellt und seither nicht mehr groß aktualisiert hat. Dasselbe trifft allerdings prinzipiell auch auf das hinter Bing Chat arbeitende ChatGPT zu, das auf Daten aus den Vorjahren basiert. Allerdings startet der Microsoft-Chatbot zu jedem Prompt auch eine Suchanfrage auf Bing und lässt die Ergebnisse dann in die generierte Antwort mit einfließen.

Das sollte bei Bard eigentlich genauso gut funktionieren, wenn nicht besser, steht doch Google hinter der KI. Die Praxis sieht allerdings anders aus, die Software muss bei aktuellen Themen passen. Ähnliches gilt übrigens auch für die generelle Transparenz: Microsofts Tool bietet übersichtliche Quellenangaben und einen schnellen Zugriff auf Suchergebnisse. Bard dagegen liefert schlicht keinerlei Quellenangaben zu seinen Antworten. Um Fakten und Ergebnisse nachzuprüfen, bleibt nur der Umweg über eine manuelle Suche.

Fehlende Transparenz

Statt einer Quellenangabe bietet Bard die Möglichkeit, weitere Suchanfragen über eine Google-Suche zu stellen. Auf Basis der Prompts generiert der Chatbot drei anklickbare Suchvorschläge. Er führt uns anschließend zur Google-Webseite und führt eine Suchanfrage mit dem ausgewählten Text durch. Teilweise versagte im Test selbst dieses Feature, manchmal gelangten wir etwa auf englischsprachige Suchergebnisse.

Bing Chat dagegen führt den Benutzer direkt zu den Primärquellen und geht dabei meist nicht den Umweg über Bing, Google oder eine andere Suchmaschine. Die für seine Antwort genutzten Quellen listet Microsofts Chatbot immer übersichtlich auf.

Bei Bard lässt sich der Gedankengang der Software manchmal kaum nachvollziehen. Mangels aktueller Informationen sind seine Ausgaben oft fehlerhaft. Man ist gut beraten, jedes Faktum noch einmal manuell nachzuprüfen. Der Planet Jupiter hat nach aktuellem Kenntnisstand 95 Monde, Bard zählte dagegen im Test nur 80 Trabanten (Abbildung 3). Immerhin spuckte der Google-Chatbot bei einem zweiten Versuch einige Tage später die richtige Zahl der Monde aus. Auch die Option, bei Bard eine Anfrage in Google zu stellen, lieferte die richtige Antwort (Abbildung 4).

Abbildung 3: Bard kennt im ersten Anlauf die aktuelle Zahl der Jupiter-Monde nicht.

Abbildung 4: Wählt man bei Bard die Google-Suchvorschläge, dann stimmt die Antwort.

Allerdings lag auch Bing Chat im Test hier daneben. Der Unterschied: Es ließ sich direkt nachvollziehen, aus welcher Quelle die genannte Zahl stammte. So fand der Microsoft-Chatbot bei unserer ersten Anfrage “Wie viele Monde hat der Jupiter?” lediglich 75 Monde. Als Quelle zitierte er dabei einen alten Artikel eines Wissenschaftsmagazins. Als wir ChatGPT einen Schulaufsatz über den Jupiter schreiben ließen, griff das System aber auf den aktualisierten Wikipedia-Artikel zurück und nannte die korrekte Anzahl von 95 seit März 2023 bestätigten Jupiter-Monden.

In Sachen Kreativität steht Googles Bard dem Microsoft-Tool in nichts nach. Den vom Programm generierten Aufsatz könnten wir minimal bearbeiten und so im Astronomieunterricht abgeben. Spätestens die veralteten Informationen würden jede Lehrkraft aber wohl schnell skeptisch machen.

Baustelle

Gerechterweise muss man sagen, dass sowohl Google als auch Microsoft ihre Chatbots noch als unfertige Programme vermarkten. Google gibt sich hier transparent und weist direkt auf der Startseite der Software auf diesen Punkt hin. Von dort aus lässt sich auch schnell auf die Datenverarbeitungsklauseln des Chatbots zugreifen.

Beide Programme funktionieren mit den jeweiligen Benutzerkonten, also bei Bard auf das Google-Konto und bei Bing Chat auf den Microsoft-Account. Dabei greifen sie auch auf Standortdaten sowie vorangegangene Konversationen zurück.

Am Ende geht es beiden Anbietern schließlich nicht (nur) darum, Menschen kostenlose Hilfe anzubieten. Sie wollen mit den in der Entwicklung sehr teuren Programmen auch Geld verdienen.

Fazit

Der wichtigste Unterschied zwischen Bing Chat und Bard: Microsoft hat von Anfang an vorbildliche Transparenz und Quellenangaben in das eigene Produkt integriert. Das einzige, was Google bisher gut kann, ist mittels Bard auf sich selbst zu verweisen.

Müssten wir Bard in einem Wort beschreiben, dann wäre es derzeit die Vokabel “gefährlich”. Der Google-Chatbot liefert fehlerhafte Informationen und gibt Empfehlungen auf Basis von Unternehmens-Marketing. Da drängt sich die Frage auf, was Google am Ende davon abhalten sollte, gegen Geld bestimmte Unternehmen und Produkte besonders hoch zu loben? Eine ähnliche Praxis sehen wir ja bereits in der Google-Suchmaschine.

Der Blick auf eine Zukunft, in der KI-Systeme unser Suchverhalten im Internet kontrolliert, erscheint unter solchen Aspekten eher düster. Aber wer weiß: Möglicherweise bessert Google ja Bard noch entscheidend nach – im Test waren nach einigen Tagen durchaus Nachbesserungen zu bemerken. Im aktuellen Zustand kann man Bard aber nicht als praktisch nutzbares Tool empfehlen. (uba)