Sprachmodelle: 54% der Quellen illegitim oder nicht existent

Eine Mitte August veröffentlichte Untersuchung der Organisation Just Facts kommt zu dem Ergebnis, dass große Sprachmodelle bei der Beantwortung politischer Fragen eine messbare Einseitigkeit sowie erhebliche Mängel bei der Quellenarbeit aufweisen.

Die Studie bewertete insgesamt 100 politische Fragestellungen und stellte fest, dass die untersuchten Chatbots häufig auf illegitime Quellen zurückgreifen oder Referenzen angeben, die faktisch nicht existieren.

Mangelhafte Quellengüte und nicht existierende Referenzen

Im Rahmen der Studie wurden die Modelle ChatGPT, Gemini, Grok und Claude anhand von 419 zitierten Quellen überprüft. Dabei stellte sich heraus, dass lediglich 46 % dieser Quellen als gültig eingestuft werden konnten. Rund die Hälfte der genutzten Referenzen erwies sich als illegitim.

Im Detail identifizierten die Prüfer 104 Webseiten, die überhaupt nicht existierten. In weiteren 77 Fällen stützten die verlinkten oder genannten Seiten die von der Künstlichen Intelligenz (KI) aufgestellten Behauptungen nicht.

Die Analyse der Quellenvalidität nach einzelnen Modellen zeigt deutliche Unterschiede in der Zuverlässigkeit. ChatGPT wies mit 57 % den höchsten Anteil an gültigen Quellen auf. Dahinter folgten Gemini mit 49 % und Claude mit 44 %.

Das Modell Grok schnitt in diesem Bereich am schwächsten ab; hier wurden lediglich 32 % der Quellen als gültig bewertet. Jim Agresti, der Präsident von Just Facts, betonte in diesem Zusammenhang, dass die Chatbots politische Fehlinformationen verbreiten und dabei auf ein fehlerhaftes Fundament aus Quellen angewiesen seien.

Wer sich professionell mit der Zuverlässigkeit von KI befasst, muss auch die rechtlichen Rahmenbedingungen und Kennzeichnungspflichten kennen. Dieser kostenlose Umsetzungsleitfaden bietet Unternehmen einen kompakten Überblick über alle Anforderungen und Fristen des EU AI Acts. EU AI Act in 5 Schritten verstehen: Fristen, Pflichten und Risikoklassen kompakt erklärt

Unterschiedliche Genauigkeit bei politischen Positionen

Ein zentraler Aspekt der Untersuchung war die Genauigkeit der KI-Antworten in Bezug auf die politische Ausrichtung von Aussagen. Die Ergebnisse deuten auf ein Muster hin, bei dem die meisten Modelle bei der Einordnung rechter Aussagen eine höhere Präzision zeigten als bei linken Aussagen.

ChatGPT erreichte eine Genauigkeit von 94 % bei rechten Aussagen, während der Wert bei linken Aussagen auf 75 % sank. Ein ähnliches Bild zeigte sich bei Gemini mit 91 % Genauigkeit gegenüber 76 % und bei Claude mit 91 % gegenüber 81 %. In diesen Fällen zeigten die Systeme laut der Studie eine geringere Genauigkeit bei der Identifizierung oder Bewertung linker Falschbehauptungen im Vergleich zu rechten.

Das Modell Grok wies hingegen ein gegenteiliges Muster auf. Hier lag die Genauigkeit bei linken Aussagen mit 84 % höher als bei rechten Aussagen, die mit 73 % bewertet wurden. Die Studienautoren sehen darin einen Beleg für eine politische Voreingenommenheit, die sich je nach Modell in unterschiedliche Richtungen auswirkt.

Die Risiken beim Einsatz von KI-Systemen sind vielfältig und reichen von fehlerhaften Ausgaben bis hin zu rechtlichen Fallstricken. Erfahren Sie in diesem kostenlosen Report, welche KI-Systeme als Hochrisiko eingestuft werden und wie Sie die Einhaltung der neuen EU-Verordnung sicherstellen. Welche KI-Systeme gelten als Hochrisiko – und was müssen Unternehmen jetzt konkret tun?

Reaktionen der Technologieunternehmen

Die von der Studie betroffenen Unternehmen reagierten unterschiedlich auf die Ergebnisse. Anthropic äußerte Zweifel an der Methodik der Untersuchung und stellte insbesondere das Multiple-Choice-Verfahren in Frage, das für die Bewertung der Modelle genutzt wurde.

Die Unternehmen Google und OpenAI gingen nicht direkt auf die spezifischen Prozentwerte der Studie ein. Beide Konzerne betonten jedoch ihre kontinuierlichen Bemühungen um Transparenz innerhalb ihrer Systeme. Sie verwiesen darauf, dass die Verbesserung der Zuverlässigkeit und die Minimierung von Fehlern in den Modellen ein zentrales Ziel ihrer Entwicklungsarbeit bleibe.

de | wissenschaft | 69949576 |