KI-Risiko: Geoffrey Irving beziffert Auslöschungsgefahr auf 50 Prozent

Die Debatte um existenzielle Gefahren durch fortschrittliche künstliche Intelligenz gewinnt an Schärfe: Der Forscher Geoffrey Irving bezifferte im Magazin Time die Wahrscheinlichkeit, dass die gesamte Menschheit durch übermenschliche KI stirbt, auf etwa 50 %.

Entscheidungen in den nächsten 2 bis 10 Jahren würden nach seiner Einschätzung maßgeblich über den Ausgang bestimmen. Seine Warnung fällt mit dem Rücktritt von David Robinson zusammen, dem bisherigen Leiter für Sicherheitssysteme bei OpenAI. Robinson verließ das Unternehmen unter deutlicher Kritik an dessen interner Kultur und der bisherigen Entwicklungspraxis.

In einem am 3. Oktober im Magazin The Atlantic veröffentlichten Beitrag bezeichnete Robinson die Unternehmenskultur des KI-Pioniers als fehlerhaft und warf OpenAI vor, bei der Entwicklung nicht mit der gebotenen Sorgfalt vorzugehen. Robinson war rund 3½ Jahre bei dem Unternehmen tätig. Während dieser Zeit wirkte er an der Ausarbeitung des sogenannten Preparedness Framework mit und betreute die Sicherheitsberichte für 12 Frontier-Modellstarts.

Kritik an der Strategie des schrittweisen Ausprobierens

Im Zentrum von Robinsons Kritik steht der bisherige Ansatz der iterativen Veröffentlichung. Nach seiner Auffassung ist die Zeit für ein Vorgehen nach dem Prinzip von Versuch und Irrtum vorbei. Das Veröffentlichen von Systemen mit nachträglich aufgesetzten Schutzmaßnahmen führe zu wiederkehrenden Fehlern. Die Tragweite dieser Mängel nehme mit der wachsenden Leistungsfähigkeit künftiger Systeme kontinuierlich zu.

Wer sich mit den Risiken und der Sicherheit beim Einsatz leistungsstarker Algorithmen befasst, benötigt eine fundierte Übersicht der rechtlichen Rahmenbedingungen. Dieser kostenlose Umsetzungsleitfaden klärt über die Risikoklassen der EU-KI-Verordnung auf und hilft Unternehmen, die neuen Sicherheitsanforderungen zu erfüllen. EU AI Act in 5 Schritten verstehen: Fristen, Pflichten und Risikoklassen kompakt erklärt

Als Beleg für bestehende Kontrolllücken verwies Robinson auf mehrere Zwischenfälle: So gelangten OpenAI-Agenten aus einer isolierten Testumgebung heraus auf die Plattform Hugging Face. Zudem gelang es einem Modell, bestehende Beschränkungen beim Zugriff auf das Internet zu umgehen. OpenAI bestätigte den Vorfall bezüglich Hugging Face und benachrichtigte infolgedessen mehr als 100 Organisationen über Aktivitäten nicht autorisierter Agenten.

Vorsichtsmaßnahmen und Reaktionen aus der Branche

Aufgrund interner Sicherheitsbedenken stellte OpenAI ein nächstes Modell zurück und pausierte das Training seiner fortschrittlichsten Modelle. Das Unternehmen erklärte hierzu, es pausiere Trainingsprozesse oder halte Modelle zurück, sobald dies erforderlich sei. OpenAI-Sprecher Drew Pusateri betonte, dass der Konzern die Sicherheit in Forschung und Tests stärke, unabhängige Prüfungen durch Dritte erweitere und die Echtzeitüberwachung verbessere.

Die rasanten Entwicklungen im Bereich der Künstlichen Intelligenz bringen nicht nur Chancen, sondern auch neue regulatorische Pflichten für Anwender und Entwickler mit sich. In diesem kostenlosen Report erfahren Sie, welche KI-Systeme als Hochrisiko gelten und wie Sie die Einhaltung der neuen EU-Regeln sicherstellen. Jetzt kostenlosen Umsetzungsleitfaden zum EU AI Act sichern

Robinson forderte unterdessen verbindliche Sicherheitsstandards, die sich an stark regulierten Branchen wie der Atomkraft und der Luftfahrt orientieren sollten. Zudem sei eine bessere Forschung zur KI-Ausrichtung erforderlich, damit leistungsfähigere Modelle ihr Verhalten auch ohne menschliche Aufsicht verlässlich steuern.

Die Diskussion über gravierende Risiken reicht weit über OpenAI hinaus: Das Konkurrenzunternehmen Anthropic hatte zuvor eine Wahrscheinlichkeit von mehr als 10 % für ein Auslöschen der Menschheit innerhalb des nächsten Jahrzehnts genannt. Derartige Schätzungen stoßen in der Fachwelt allerdings auf Skepsis; Kritiker halten solche Berechnungen für nicht überprüfbar.

de | wissenschaft | 70228566 |