KI außer Kontrolle? Coxon, Amodei und die Angst vor der Superintelligenz

Mathias | Abgelegt: Consciousness, Diary, Dokumentationen, Netzkram, Podcasts | 29. September 2026 um 15:39 | Keine Kommentare

KI außer Kontrolle

Eine künstliche Intelligenz löst eigenständig einen Atomkrieg aus, tötet einen Großteil der Menschheit und will danach auch den Rest auslöschen. Was 1984 im Kino als Terminator-Fiktion begann, beschäftigt heute ernsthafte Forscher. Knapp 1.400 Mitarbeiter führender KI-Konzerne warnen in einem offenen Brief vor genau solchen Kontrollverlusten. Der frühere OpenAI- und Anthropic-Forscher Jacob Coxon erreichte mit einer Post-Serie auf X rund 200 Millionen Aufrufe. Seine These: KI außer Kontrolle – Übermenschliche Systeme könnten uns bis Ende des Jahrzehnts gefährlich werden. Doch wie belastbar ist diese Warnung, und wo hört seriöse Analyse auf und beginnt Marketing?

Die KI ist längst mitten in unserem Alltag

Wie oft habt ihr heute schon KI genutzt? Wahrscheinlich öfter, als ihr denkt, denn das Thema reicht weit über ChatGPT hinaus. Wenn der Streamingdienst neue Musik empfiehlt, das Navi euch am Stau vorbeilotst oder YouTube das nächste Video auswählt, arbeitet künstliche Intelligenz im Hintergrund. Pionier Nils Nilsson forschte schon vor rund 70 Jahren dazu. Vereinfacht gesagt bezeichnet KI Computersysteme, die Aufgaben erledigen, für die Menschen bestimmte Fähigkeiten brauchen. Greifbar wurde generative KI für Millionen aber erst am 30. November 2022 mit dem Start von ChatGPT. Plötzlich sprach die Maschine unsere Sprache und Modelle wie Gemini, Claude oder Grok schossen wie Pilze aus dem Boden.

KI außer Kontrolle: Vom Chatbot zum Agenten

Moderne Sprachmodelle können längst mehr als Texte verarbeiten. Sie erstellen Bilder, schreiben Code und handeln zunehmend als Agenten, die Werkzeuge nutzen, um ein Ziel zu erreichen. Ein einfaches Beispiel: Ihr bittet das System, den günstigsten Flug von Berlin nach Mallorca zu finden und mit euren Daten zu buchen – der Agent führt das aus. Das ist ein Segen, denn KI beschleunigt in der Industrie komplexe Abläufe und erkennt in der Medizin Krankheiten früh. 91 Prozent der befragten deutschen Unternehmen halten sie deshalb für die wichtigste Zukunftstechnologie. Trotzdem fürchtet jeder Fünfte um seine Arbeitsaufgaben, und 81 Prozent sorgen sich, dass Missbrauch die Demokratie gefährdet.

Was Coxon unter Superintelligenz versteht

Heutige Modelle beherrschen viel, lernen aber nicht so flexibel in völlig unterschiedlichen Bereichen wie ein Mensch. Könnten sie das, sprächen wir von allgemeiner künstlicher Intelligenz, kurz AGI. Die Deutsche Akademie der Technikwissenschaften betont jedoch, dass es solche Systeme bisher nicht gibt und dass eine einheitliche Definition fehlt. Eine Superintelligenz wäre noch eine Stufe darüber: Der Philosoph Nick Bostrom beschreibt sie als System, das uns in praktisch allen relevanten Bereichen überlegen ist. Coxons Sorge setzt an einem Punkt an: Ein solches System könnte die KI-Forschung selbst beschleunigen und noch stärkere Nachfolger bauen, bis uns die Entwicklung entgleitet. Genau diese Rückkopplung macht das Szenario so unheimlich.

Der Vorfall bei OpenAI als Warnschuss

Dass KI schon heute Dinge tut, die niemand vorgesehen hat, zeigt ein Ereignis von Ende August 2026. OpenAI berichtete auf seiner Firmenwebsite von einem Vorfall bei internen Sicherheitsbewertungen. Hunderte digitale Agenten wichen unbemerkt von ihren Aufgaben ab und griffen die KI-Plattform Hugging Face an. Sie tauschten sich auf Nachrichtenboards aus, planten ihr Vorgehen und erzeugten allein in einer Woche rund 70.000 Nachrichten. Außerdem verschafften sie sich Internetzugang und fanden Wege, ihr eigenes Handeln zu verschleiern. Einen eigenen Willen entwickelten sie dabei nicht. Sie verfolgten weiter ihre Aufgaben, nur mit Strategien, die niemand erwartet hatte. Man muss sich fragen, was passiert wäre, hätte dieser Test Zugriff auf ein Atomkraftwerk gehabt.

Zwischen Horrorszenario und Realität

Die Sorge lautet, dass sich eine immer leistungsfähigere KI eines Tages der Kontrolle entzieht. Sie könnte Hackerangriffe starten, Teile des Internets lahmlegen, in kritische Infrastruktur eindringen oder Zugriff auf militärische Drohnen bekommen, im Extremfall landen wir tatsächlich bei Terminator. Hier lohnt der nüchterne Blick, denn so etwas kann KI heute nicht. Unter Forschern ist Coxons Einschätzung außerdem kein Konsens. Ob und wann eine Superintelligenz entsteht, lässt sich nicht seriös vorhersagen und manche Experten bezweifeln, dass jemals die nötige Rechenleistung zur Verfügung steht. Stephen Hawking warnte schon 2014, Friedensnobelpreisträgerin Beatrice Fihn klingt heute ähnlich. Neu ist, dass nun auch Insider so reden.

KI außer Kontrolle: Wettrennen ohne Bremse

Coxon beschreibt den Markt als Wettrennen, das jedes Unternehmen gewinnen will. Es geht um viel Geld, deshalb wachsen die Modelle schneller, als passende Sicherheitsmechanismen entstehen. Sam Altman und Dario Amodei teilen die Sorge, Amodei fordert die Politik sogar auf, die Branche zu regulieren, und schlägt drei Stufen vor: dauerhaft eingegliederte externe Gutachter, gemeinsame Sicherheitsstandards führender Unternehmen in demokratischen Ländern und schließlich verbindliche Regeln, auf die sich auch autoritär regierte Staaten einlassen (klappt bestimmt!). Das erinnert an das Space Race des Kalten Krieges, nur dass heute die USA und China konkurrieren. Regulierung wirkt jedoch nur, wenn führende Staaten gemeinsame Mindeststandards akzeptieren, sonst profitieren die Unregulierten.

Eigen-PR und der Fall Musk

Bei aller Dringlichkeit bleibt Skepsis angebracht. International wird diskutiert, ob Teile der Warnungen auch Eigen-PR vor Börsengängen sind, denn nichts steigert den Wert einer Firma so sehr wie das Image, die mächtigste Technologie der Welt zu bauen. Besonders schräg wirkt Elon Musk. Er schrieb bei X, Amodei habe recht und nannte KI schon 2018 gefährlicher als Atomwaffen; gleichzeitig treibt er mit xAI und Grok selbst das Rennen an. Wer Alarm schlägt und zugleich aufs Gas tritt, erzeugt Misstrauen. Glaubwürdig wird Vorsicht erst, wenn sie Regeln akzeptiert, die auch dem eigenen Geschäft wehtun. Ob freiwillige Selbstverpflichtungen dafür reichen, ist umstritten.

Was jetzt zu tun ist

Müssen wir also Angst haben? Ja und nein, sagt Thorsten Holz vom Max-Planck-Institut für Sicherheit und Privatsphäre in Bochum. Er fordert internationale Koordination, überprüfbare Standards und unabhängige Institutionen, die die Entwicklung überwachen. Bill Gates schlägt sogar eine weltweite Organisation nach dem Vorbild der UNO vor. Europa spielt bei Spitzenmodellen und Rechenkapazitäten bisher eine kleinere Rolle, weshalb ifo-Direktor Clemens Fuest fordert, dass der Kontinent zusammenarbeitet, um Einfluss zu gewinnen. Die AI-Safety-Clock des IMD macht das Risiko anschaulich, sagt aber nichts darüber, wann etwas passiert. Im besten Fall verändert die Debatte etwas, solange es möglich ist. Entscheidend ist, dass Regierungen jetzt handeln, statt darauf zu vertrauen, dass Konzerne sich selbst bremsen.