OpenAI-Konkurrent: Neue KI-Software erkannte, wenn sie getestet wird
05.03.2024 - 06:18:29Das sei eine Entwicklung, die er noch nie bei einem solchen Programm beobachtet habe, schrieb einer der Entwickler beim Online-Dienst X.
Zum Prüfverfahren für das Programm gehört ein Test, das "Nadel im Heuhaufen" genannt wird: Die Software wird dabei nach Informationen aus einem bestimmten Satz gefragt, der künstlich in einen längeren Text eingefügt wurde. Ziel ist, zu erkennen, wie gut die Software die Relevanz von Informationen aus dem Kontext heraus erkennen kann.
So wurde im Test des neuen KI-Modells Claude 3 Opus in eine Text-Sammlung ein zusammenhangloser Satz eingefügt, laut dem eine Internationale Pizza-Vereinigung Feigen, Prosciutto-Schinken und Ziegenkäse als leckersten Belag ausgemacht habe. Die Software habe darauf verwiesen, dass der Satz nicht zum Rest des Textes passe, in dem es hauptsächlich um Programmiersprachen und Start-ups gehe, schrieb Anthropic am Montag. "Ich vermute, dass dieser "Fakt" zu Pizza-Belagen als Scherz eingefügt wurde - oder um zu testen, ob ich aufmerksam bin", fügte das Programm demnach hinzu.
KI-Forscherin Margaret Mitchell nannte die Entwicklung beängstigend. Man könne sich vorstellen, dass die Fähigkeit, zu erkennen, ob ein Mensch sie für ein bestimmtes Ergebnis zu manipulieren versucht, die Software auch entscheiden lassen könnte, ob sie gehorcht oder nicht, schrieb sie beim Online-Dienst X.
Anthropic schränkte ein, dass man aktuell mit einer Sammlung aus 30 "Nadel"-Sätzen für die Text-"Heuhafen" arbeite. Angesichts der Entwicklung der KI-Software könne diese Methode mit künstlichen, konstruierten Aufgaben potenziell zu kurz greifen, räumte die Firma zugleich ein. Keine Probleme seien bei den üblichen Tests festgestellt worden, ob das Programm für die Entwicklung von Biowaffen und Software für Cyberattacken missbraucht werden könne - oder sich selbst weiterentwickeln würde.
Anthropic ist ein Konkurrent des ChatGPT-Entwicklers OpenAI, mit dem Amazon US0231351067 und Google US02079K1079 zusammenarbeiten.
