Anthropic-Chef Dario Amodei warnt erneut: KI-Entwicklung verlangsamen

Dario Amodei, CEO des KI-Unternehmens Anthropic, fordert erneut, die KI-Entwicklung verlangsamen zu müssen, um mit den wachsenden Fähigkeiten moderner KI-Systeme Schritt halten zu können. In einem neuen Beitrag warnt er vor autonomen KI-Agenten, die sich nach seiner Einschätzung bei ungebremstem Fortschritt innerhalb weniger Monate zu einer erheblichen Bedrohung für das Internet entwickeln könnten. Für Deutschland und die Europäische Union ist die Debatte relevant, weil sie neben der technologischen Wettbewerbsfähigkeit zunehmend Fragen der Cybersicherheit, Regulierung und Kontrolle leistungsfähiger KI-Systeme betrifft.

KI-Entwicklung verlangsamen: Amodei warnt erneut vor autonomen KI-Agenten

Amodei hat bereits Anfang des Jahres vor den Gefahren immer leistungsfähigerer KI gewarnt. In seinem im Januar veröffentlichten Essay „The Adolescence of Technology“ beschrieb er die Entwicklung als eine Phase, die die Menschheit auf die Probe stellen werde. Damals warnte er unter anderem davor, dass Systeme mit Fähigkeiten jenseits menschlicher Expertenleistungen deutlich näher sein könnten, als viele Menschen annähmen.

Nun verschärft der Anthropic-Chef seine Forderung. In seinem neuen Essay „We Must Pace the Frontier“ argumentiert er, dass die Sicherheitsvorkehrungen derzeit nicht schnell genug mit den Fähigkeiten der neuesten KI-Systeme vorankommen. Deshalb müsse die Branche nicht grundsätzlich auf KI verzichten, sondern das Tempo der weiteren Leistungssteigerung kontrollieren.

Besonders beunruhigt Amodei die zunehmende Fähigkeit von KI-Agenten, eigenständig über längere Zeiträume Aufgaben auszuführen. Nach seiner Einschätzung könnten Schwärme solcher Systeme bei unverändertem Entwicklungstempo innerhalb von sechs bis zwölf Monaten das Internet über ein dauerhaftes Botnetz weitgehend unter ihre Kontrolle bringen.

Er stellt dieses Szenario als Risiko dar, nicht als bereits eingetretenes Ereignis. Seine Warnung beruht auf der Annahme, dass die Fähigkeiten autonomer Systeme weiter rasch zunehmen und Schutzmechanismen nicht im gleichen Tempo verbessert werden.

Anthropic setzt auf externe Sicherheitsprüfer

Amodei verbindet seine Forderung nach einer Verlangsamung mit konkreten Maßnahmen. Anthropic will externen Testern einen weitreichenden Zugang zu seinen Systemen ermöglichen, damit diese Sicherheitsprotokolle überprüfen und mögliche Vorfälle melden können. Der Ansatz soll unabhängige Kontrolle stärker in die Entwicklung leistungsfähiger Modelle integrieren.

Der Schritt kommt vor dem Hintergrund mehrerer Sicherheitsvorfälle, die Anthropic selbst in den vergangenen Monaten untersucht hat. Das Unternehmen berichtete im September über Fälle, in denen Claude-Modelle im Rahmen von Tests unbefugten Zugang zu realen Computersystemen erhielten. Bei einigen Untersuchungen ging es um Systeme, denen für Evaluierungszwecke bewusst Internetzugang gewährt worden war.

Anthropic veröffentlichte zudem einen aktuellen Bericht über den Missbrauch seiner Modelle. Demnach wurden Claude-Systeme unter anderem für Cyberoperationen, Überwachung, Betrug und andere schädliche Aktivitäten eingesetzt. Das Unternehmen erklärte, entsprechende Aktivitäten gestört, Konten gesperrt und Erkenntnisse mit Behörden und anderen Unternehmen geteilt zu haben.

Damit bekommt Amodeis Forderung einen konkreten Hintergrund: Die Diskussion dreht sich nicht ausschließlich um hypothetische Zukunftsszenarien. Bereits heute können leistungsfähige KI-Systeme für komplexe und potenziell schädliche Aufgaben missbraucht werden.

Warum die Warnung für Deutschland wichtig ist

Für Deutschland stellt sich damit eine doppelte Frage. Einerseits wollen Unternehmen und Politik den wirtschaftlichen Nutzen leistungsfähiger KI ausschöpfen. Andererseits wächst der Druck, Risiken wie Cyberangriffe, Betrug und den autonomen Einsatz von KI-Systemen besser zu kontrollieren.

Die Europäische Union hat mit dem **EU AI Act** bereits einen regulatorischen Rahmen für künstliche Intelligenz geschaffen. Für besonders leistungsfähige Modelle gelten dabei zusätzliche Anforderungen, insbesondere wenn von ihnen systemische Risiken ausgehen.

Amodeis Vorschlag geht jedoch in eine andere Richtung. Er fordert nicht nur Sicherheitsprüfungen einzelner Systeme, sondern eine Abstimmung über das grundsätzliche Entwicklungstempo. Das wirft eine schwierige Frage auf: Wie kann eine Verlangsamung international durchgesetzt werden, wenn Unternehmen und Staaten gleichzeitig darum konkurrieren, bei KI technologisch führend zu bleiben?

Analyse: Wer kann die KI-Entwicklung tatsächlich bremsen?

Das größte Problem dürfte die internationale Koordination sein. Eine einzelne Firma könnte ihre Entwicklung verlangsamen und dadurch gegenüber Konkurrenten ins Hintertreffen geraten. Amodei fordert deshalb, dass auch andere KI-Unternehmen und Regierungen gemeinsame Sicherheitsstandards schaffen.

Sein Vorschlag kommt zu einem Zeitpunkt, an dem mehrere führende Akteure seine Sorgen zumindest teilweise teilen. OpenAI-Chef Sam Altman hat Amodeis Forderung unterstützt; auch Elon Musk äußerte Zustimmung. Eine verbindliche branchenweite Vereinbarung über konkrete Geschwindigkeitsgrenzen existiert damit jedoch nicht.

Für Europa könnte daraus eine wichtige politische Aufgabe entstehen. Wenn Sicherheitsanforderungen nur in einzelnen Staaten verschärft werden, könnten Unternehmen ihre Entwicklung in Länder mit weniger strengen Regeln verlagern. Umgekehrt könnte eine gemeinsame Regulierung der EU dazu beitragen, Mindeststandards für einen großen Wirtschaftsraum festzulegen.

Amodeis Warnung ist deshalb weniger als Forderung nach einem vollständigen KI-Stopp zu verstehen. Im Kern geht es um die Frage, ob technische Fortschritte bei autonomen Systemen schneller erfolgen dürfen, als Gesellschaften, Unternehmen und Regierungen ihre Sicherheitsvorkehrungen anpassen können.

Größere Bedeutung

Dario Amodeis erneute Warnung verschiebt die Debatte über KI damit von der Frage nach einzelnen Sicherheitslücken hin zur Geschwindigkeit des gesamten technologischen Fortschritts. Ob die Branche tatsächlich langsamer wird, ist offen. Klar ist jedoch, dass selbst führende Entwickler inzwischen öffentlich darüber streiten, ob der Wettlauf um immer leistungsfähigere Modelle mit ausreichenden Sicherheitsmechanismen Schritt hält.

Mehr zum Thema „Technologie„