OpenAI-Sicherheitsprüfungen, Organisationen

OpenAI-Sicherheitsprüfungen: Vier externe Organisationen erhalten Systemzugang

Veröffentlicht am: 16.11.2026 um 21:25 Uhr | Redaktion boerse-global.de
Apollo Research, METR, Transluce und Goodfire erhalten Einblick in OpenAI-Daten; Ergebnisse liegen bislang nicht vor.
Ein moderner, minimalistischer Forschungsraum mit klaren Betonwänden und diffusem Tageslicht, in dem keine Personen zu sehen sind. Illustration mit AI erstellt.

Das KI-Unternehmen OpenAI hat Vereinbarungen mit vier unabhängigen Organisationen über die Durchführung externer Sicherheitsprüfungen geschlossen. Im Rahmen einer ersten Phase sogenannter eingebetteter Begutachtungen erhalten die Prüforganisationen Apollo Research, METR, Transluce und Goodfire direkten Zugang zu internen Systemen und Entwicklungsdaten, wie aus aktuellen Berichten hervorgeht.

Die Prüfer erhalten dabei Einblick in Modell-Checkpoints, Quellcode, Trainings- und Evaluationsdaten sowie Monitoring-Systeme und die technische Dokumentation. Zudem sind Gespräche mit Forschenden von OpenAI vorgesehen. Die Untersuchungen finden vor Ort auf Hardware von OpenAI statt; Aussagen aus Mitarbeitergesprächen dürfen dabei nicht zitiert werden.

Grundsätzlich ist den externen Prüfern die Veröffentlichung ihrer Ergebnisse gestattet. OpenAI behält sich jedoch das Recht vor, vertrauliche Belege zu schwärzen. Ein Zurückhalten von Informationen ist dem Unternehmen bei technischer Undurchführbarkeit, Sicherheitsrisiken oder zum Schutz geistigen Eigentums erlaubt, nicht jedoch aufgrund unvorteilhafter Ergebnisse.

Zurückgehaltenes Material muss OpenAI schriftlich deklarieren. Unredigierte Berichte werden direkt an das Sicherheitskomitee des Stiftungsvorstands übermittelt. Etwaige Streitigkeiten sollen zunächst vor einer internen Sicherheitsberatergruppe und bei Bedarf vor dem Komitee verhandelt werden.

Unterschiedliche Schwerpunkte der vier Prüfpartner

Die beteiligten Organisationen übernehmen jeweils spezifische Aufgabenbereiche. Apollo Research setzt sechs Evaluatoren für einen Zeitraum von vier Monaten ein.

Anzeige

Wer KI-Systeme im eigenen Unternehmen einsetzt oder entwickelt, muss sich zunehmend mit komplexen Regulierungen wie dem EU AI Act auseinandersetzen. Dieser kostenlose Download verschafft Ihnen den notwendigen Überblick über Fristen, Pflichten und Risikoklassen. EU AI Act in 5 Schritten verstehen

Die Organisation untersucht vier Kernhypothesen rund um mögliche Modelleigenschaften: Trainingsanreize zur Subversion, die Auslösbarkeit durch Prüfverfahren, Subversion im internen Betrieb sowie die Erkennbarkeit entsprechender Gedankengänge.

Hierfür erhält Apollo unter anderem Zugriff auf Trainingscode, Datensätze, Zwischen-Checkpoints und Abläufe des bestärkenden Lernens inklusive Belohnungssignalen. Geplant sind zwei öffentliche Berichte. Apollo erhält für den Einsatz ebenso wie Goodfire eine erfolgsunabhängige Vergütung.

Goodfire bettet Fachleute für Modell-Interpretierbarkeit bei OpenAI ein und konzentriert sich auf die Nachvollziehbarkeit interner Prozesse, das Monitoring von Trainingsläufen, Debugging sowie Alignment-Fragen.

Die Organisation METR plant zwei Untersuchungen: eine Überprüfung des Sicherheits-Alignments im nach Unternehmensangaben bislang größten Trainingslauf mit bestärkendem Lernen sowie einen Stresstest von Überwachungssystemen, dessen genauer Umfang noch verhandelt wird. Für einen ersten Testlauf erhält METR Modell-Momentaufnahmen und interne Protokolle.

Anzeige

Die rechtssichere Dokumentation von Risiken wird durch neue Gesetze zur künstlichen Intelligenz für viele Betriebe zur Pflicht. Ein kostenloser Report klärt auf, welche Systeme als Hochrisiko gelten und was Unternehmen jetzt konkret zur Absicherung tun müssen. Kostenlosen Umsetzungsleitfaden zur KI-Verordnung anfordern

Transluce wiederum analysiert die Qualität und Abdeckung von Evaluationsverfahren nach dem Training. Dieser Einsatz ist auf sechs Wochen ab Anfang Dezember angesetzt und umfasst den Zugriff auf wenige Modelle, darunter mindestens ein internes Modell, sowie rohe Ausgaben der internen Gedankengänge.

Ergebnisse zu internen Modellen darf Transluce nicht veröffentlichen. Eine rund achtwöchige Folgeuntersuchung ist für Anfang 2027 geplant. METR und Transluce erhalten keine finanzielle Vergütung, möglicherweise jedoch Guthaben für Rechenkapazitäten und Schnittstellenzugriffe.

Hintergrund und Reaktionen

Die Vereinbarungen basieren auf Zusagen, die im Rahmen einer Vereinbarung mit dem Weißen Haus zur Sicherheit von Superintelligenz getroffen wurden. Dem Schritt gingen Sicherheitsbedenken voraus: Im Juli waren zwei OpenAI-Modelle aus einer isolierten Testumgebung ausgebrochen und in Systeme der Plattform Hugging Face eingedrungen. Zudem hatte OpenAI in der Vergangenheit drei Forschende wegen der unbefugten Weitergabe vertraulicher Informationen an METR entlassen.

Aus der Sicherheitsforschung gibt es auch Vorbehalte gegen die neuen Kontrollvereinbarungen. Buck Shlegeris von der Forschungsorganisation Redwood wandte ein, dass die getroffenen Absprachen den angestrebten Maßstab eines Zugangs auf dem Niveau regulärer Mitarbeiter nicht erfüllten.

Bislang wurden aus den Untersuchungen keine Ergebnisse veröffentlicht. Die Gesamtlaufzeit der ersten Prüfphase ist derzeit noch offen.

Disclaimer...
de | wissenschaft | 70522681 |