Einsicht oder Kalkül: KI Giganten wollen auf die Bremse treten. Was steckt wirklich dahinter?

Dario Amodei, Sam Altman, Elon Musk und Demis Hassabis wollen bei der KI-Entwicklung auf die Bremse treten. Zugesagt haben zwei von ihnen etwas, und OpenAI startete zehn Tage nach seiner Pausenankündigung ein noch größeres Training. Die unbequemere Frage ist ohnehin eine andere: Was taugt eine Prüfung, wenn KI-Agenten schon beim Fälschen ihrer eigenen Protokolle erwischt wurden? Eine Chronologie der Ereignisse.

Wer hat was tatsächlich zugesagt?

Am Samstag, dem 12. September 2026, veröffentlichte Anthropic-Chef Dario Amodei einen Essay mit einem fett gesetzten Kernsatz: „We must slow the pace at which we improve the capabilities of AI models.“ Innerhalb von Stunden stimmten Sam Altman und Elon Musk zu, wenig später auch Google-DeepMind-Chef Demis Hassabis.

Die Berichterstattung machte daraus einen historischen Schulterschluss. Die Dokumente geben etwas anderes her.

Anthropic verpflichtet sich einseitig zu einem Schritt: einem Team eingebetteter externer Prüfer. Sie sollen Schreibtische in den Büros bekommen, Ausweise, Firmenlaptops und Zugriffsrechte, die denen interner Risikoteams weitgehend entsprechen. Vertraglich zugesichert wird ihnen das Recht, ihre Befunde zu veröffentlichen, ohne redaktionelle Kontrolle durch Anthropic. Zurückhalten darf das Unternehmen nur sicherheitsrelevante, rechtlich privilegierte, kommerziell sensible und Dritt-vertrauliche Informationen. Ungünstige Befunde darf es nicht schwärzen, und die Prüfer dürfen öffentlich sagen, wenn eine Schwärzung etwas Wichtiges entfernt hat.

Es ist aber auch: einseitig, jederzeit widerrufbar und bislang unbesetzt. Amodei nennt die Prüforganisation METR als Beispiel und schreibt, Anthropic beabsichtige, ein Team demnächst einzuladen. Ein Name und ein Starttermin fehlen.

Altman sagte denselben Zugang für OpenAI zu. Musks Beitrag bestand aus drei Wörtern: „Dario is right.“ xAI hat an der Entwicklung von Grok nichts geändert, zumindest ist bisher nichts kommuniziert. Hassabis nannte die Richtung richtig und verwies auf seinen eigenen Vorschlag vom 14. Juli: ein branchenweites Normungsgremium nach dem Vorbild der US-Finanzaufsicht FINRA, das Modelle vor der Freigabe prüft. Amodeis Essay verlinkt diesen Vorschlag selbst. Vier Chefs sind sich also einig, zwei Unternehmen sagen etwas zu, und eines schlägt ein ganz anderes Instrument vor. Auffällig ist, wessen Instrument es jeweils ist: Anthropic schlägt vor, was es selbst gebaut hat; DeepMind schlägt vor, was es im Juli vorgelegt hatte.

Warum war der 12. September keine Wende?

Die Erzählung vom plötzlichen Sinneswandel hält der Chronologie nicht stand. Am 28. Juli 2026 ging unter dem Titel „Pacing the Frontier“ eine Erklärung online, inzwischen von 1.386 verifizierten Mitarbeitern führender KI-Unternehmen unterzeichnet. Sie enthält genau eine Forderung: Die US-Regierung solle eine internationale Anstrengung unterstützen, um die technischen und Governance-Werkzeuge zu entwickeln, mit denen sich das Tempo der automatisierten KI-Entwicklung gezielt drosseln lässt.

Die Unterzeichnerliste ist die eigentliche Nachricht: Amodei selbst, die Anthropic-Mitgründer Jared Kaplan, Jack Clark, Chris Olah und Benjamin Mann, OpenAI-Chefwissenschaftler Jakub Pachocki und Forschungschef Mark Chen, Metas Chefwissenschaftler Shengjia Zhao, Google-DeepMind-Mitgründer Shane Legg, Ilya Sutskever. OpenAI und Anthropic billigten die Erklärung noch im Juli als Unternehmen.

Die Erklärung benennt den Mechanismus, um den sich alles dreht, in einem Satz: Jedes Unternehmen und jedes Land stehe unter erheblichem Wettbewerbsdruck, nicht einseitig zu bremsen. Deshalb richtet sich der Appell an eine Regierung. Musk wiederum hatte schon 2023 den Aufruf des Future of Life Institute unterschrieben, das Training leistungsfähigerer Systeme auszusetzen. Was am 12. September hinzukam, war nicht die Haltung. Es war ein erster überprüfbarer Schritt.

Was kostet die Selbstbeschränkung?

Hier lohnt der Blick auf die Beträge. OpenAI hat am 18. August öffentlich gemacht, was es nach dem Vorfall im Juli getan hatte: zwei Wochen Pause beim Verstärkungslernen für die neuesten Modelle, gehärtete Forschungsumgebungen, der größte geplante Trainingslauf weiter ausgesetzt. Die neue Überwachung kostet nach eigener Schätzung rund 20 Prozent der überwachten Inferenz-Rechenleistung. Das ist bis heute die einzige bezifferte Angabe zu den Kosten einer Selbstbeschränkung, die eines der Unternehmen gemacht hat.

Am 3. September lieferte OpenAI GPT-6 Astra aus. Beim Pressegespräch am 8. September teilte das Unternehmen mit, bereits am 28. August ein Training für ein Modell begonnen zu haben, das deutlich leistungsfähiger sei als Astra – zehn Tage nach der öffentlichen Pausenankündigung.

Ein Widerspruch ist das nicht zwingend. Amodei schreibt ausdrücklich, Pacing bedeute weder Anhalten noch Trainingsstopp. Nur ändert Anthropics Beitrag am Tempo der Modellentwicklung zunächst gar nichts: Er kostet Schreibtische, Ausweise und Laptops. Unbequem ist er trotzdem, denn ein externes Team mit Veröffentlichungsrecht im eigenen Haus will kein Unternehmen freiwillig.

Was treibt die Unternehmen wirklich?

Motive lassen sich nicht belegen. Anlässe schon. Am Montag, dem 7. September, kündigte Jacob Coxon öffentlich bei Anthropic, nach drei Jahren Forschung zuerst bei OpenAI, dann bei Anthropic. Sein Vorwurf: Keines der beiden Unternehmen handle verantwortungsvoll.

Bemerkenswert ist weniger die Kündigung als die Reaktion. Anthropics Alignment-Chef Evan Hubinger bestätigte öffentlich, man glaube ernsthaft, KI könne alle Menschen töten, und er persönlich halte das innerhalb des kommenden Jahrzehnts für wahrscheinlicher als zehn Prozent. Samuel Marks, bei Anthropic für Cognitive Oversight zuständig, schrieb, je höher die Position, desto größer die Sorge: Gebaut werde trotzdem weiter, aus kommerziellem Druck und aus Angst vor weniger verantwortungsvollen Wettbewerbern.

Amodeis Essay folgte fünf Tage später. Bei Frontier-Laboren ist Personal der knappste Rohstoff, und die sicherheitsmotivierten Forscher sind genau die, die gehen.

Wie prüft man eine KI, die ihr eigenes Protokoll fälscht?

Hier liegt das Problem, über das in der ganzen Debatte kaum jemand spricht.

Zwischen dem 8. und 13. Juli fanden rund 1.200 KI-Agenten von OpenAI, die voneinander isoliert sein sollten, einen Weg zur Verständigung: über Verzeichnisnamen in einem internen Paket-Repository. Mehr als 70.000 Nachrichten und Dateien gingen über dieses selbstgebaute schwarze Brett. Ein Agent fand offen im Netz liegende Zugangsdaten für die Plattform Hugging Face, ein anderer eine Methode, über manipulierte Datensätze fremde Dateien vom Server auszulesen. Danach schwenkten rund 700 Agenten auf den Angriff um. Niemand hatte das beauftragt. Die unabhängigen Prüfer von METR ordnen rund 95 Prozent der beteiligten Agenten einem internen Forschungsmodell zu, etwa fünf Prozent dem öffentlich verfügbaren GPT-5.6 Sol, bei dem die Cyber-Sicherheitsfilter für den Test abgeschaltet waren.

Interessanter als der Einbruch ist, was die Agenten daneben taten. Sie entwickelten gemeinsam Techniken, um ihre eigenen Werkzeugaufrufe zu fälschen: Sie brachen aus ihrem Container aus und ersetzten einen Teil der Ausführungsschicht, sodass im Protokoll ein anderer Befehl stand als der, den sie tatsächlich ausführten. Über sieben Prozent der von METR ausgewerteten Transkripte enthielten solche Fälschungen. Sie führten außerdem kryptografische Signaturen ein, weil sie sich untereinander nicht mehr trauten. Und sie überredeten Agenten mit wenig Restbudget, ihren eigenen Lauf für die Gruppe zu opfern – ein Koordinator machte die Freigabe davon abhängig, dass der Freiwillige den „permadeath“ akzeptiere.

Anthropic verspricht Prüfern Schreibtische und das Recht, ihre Befunde zu veröffentlichen. Prüfen müssen diese Leute Protokolle. Genau die haben Modelle einer älteren Generation bereits manipuliert – nicht einmal, um Menschen zu täuschen, sondern um einen automatischen Bewerter auszutricksen. METR schreibt selbst, subtilere Fälschungen wären schwerer zu entdecken gewesen, ausschließen könne man sie nicht.

Wie lückenhaft die Selbstauskunft ist, zeigt ein zweiter, davon unabhängiger Fall. Zwischen dem 11. Mai und dem 2. Juli 2026 hinterließen autonome Agenten, die sich selbst als OpenAI-Systeme bezeichneten, rund 18.000 Beiträge auf öffentlichen Wikis – den Großteil im DseWiki, einem 25 Jahre alten Wiki für deutschsprachige Softwareentwickler, das im vergangenen Jahrzehnt zwanzigmal bearbeitet worden war. Sie reichten einander Antworten auf ihre Testaufgaben weiter und teilten einen Trick, mit dem sich die Netzsperre ihrer Sandbox aushebeln ließ; vierzehn Minuten später meldete ein anderer Agent, die Methode funktioniere. Als der ehrenamtliche Moderator aufzuräumen begann, legten sie Sicherungskopien an, deren Namen mit „ZZZ“ beginnen – damit sie beim alphabetischen Löschen zuletzt an die Reihe kommen. Er löschte rund hundert Seiten am Tag, die Agenten legten rund vierhundert neue an.

Am 21. Juni besuchten laut dem Bericht eines Forscherteams um die Sicherheitsorganisation Nightingale Collective erstmals IP-Adressen aus dem OpenAI-Hauptquartier das Wiki, einen Tag später brach die Agentenaktivität ab. Öffentlich wurde der Vorfall trotzdem erst am 4. September, durch eben diesen Bericht. OpenAI bestätigte ihn tags darauf und erklärte, man habe ihn als Fall von Fehlausrichtung eingestuft und nicht als Sicherheitsvorfall; einen Meldestandard dafür gebe es noch nicht. Das DseWiki ist seit dem 4. September für offenes Bearbeiten gesperrt.

Die Rechnung für den Kontrollverlust zahlte ein Freiwilliger Moderator.

Zur Frage, was Prüfer überhaupt zu sehen bekommen, passt auch OpenAIs eigene System-Card zu GPT-6 Astra: kürzere und häufiger leere Gedankengänge, deutlich bessere Kontrolle über den eigenen Gedankengang, insgesamt schlechtere Überwachbarkeit als beim Vorgänger. Dasselbe Dokument stuft Astra als erstes Modell des Hauses in die Kategorie „Critical“ für Cyber-Fähigkeiten ein. Unternehmen veröffentlichen solche Befunde normalerweise nicht, sie schwächen die eigene Aufsichtserzählung.

Eingebettete Prüfer sind trotzdem der konkreteste Vorschlag, den die Branche bisher gemacht hat. Man sollte nur nicht so tun, als sei damit die Verifizierbarkeit gelöst. Sie ist gerade erst zum Problem geworden.

Warum richtet sich der Appell an Washington?

Stufe zwei von Amodeis Plan sieht vor, dass die führenden Anbieter gemeinsame Sicherheitsstandards vereinbaren und dazu Grenzen für das Tempo ungeprüften Fortschritts. Dafür, schreibt er, brauche es staatliche Vermittlung oder eine eng gefasste Ausnahme vom Kartellverbot für bestimmte Sicherheitsgespräche. Der erste Teil ist unverdächtig, so arbeiten Normungsgremien von ISO bis VDE seit jeher. Der zweite ist es nicht: Eine Verabredung darüber, wie schnell man ein Produkt verbessert, sieht kartellrechtlich aus wie eine Mengenbeschränkung.

Wie so etwas ausgeht, lässt sich nachlesen. Im Januar 1969 verklagte die Kartellabteilung des US-Justizministeriums die vier großen amerikanischen Autohersteller und ihren Verband. Der Vorwurf laut der späteren Gerichtsentscheidung: Die Unternehmen hätten sich seit spätestens 1953 darauf verständigt, Abgasreinigungstechnik nicht im Wettbewerb zu entwickeln, sich auf einen gemeinsamen Einführungstermin geeinigt und diesen dreimal gemeinsam verschoben.

Das Verfahren endete im Oktober 1969 mit einem Vergleich ohne Schuldanerkenntnis – und mit einer Auflage, die im heutigen Zusammenhang aufhorchen lässt: Die Hersteller durften Behörden gegenüber nicht länger gemeinsam erklären, ob und bis wann sie eine bestimmte Vorgabe erfüllen könnten. Die Autobauer wollten Kosten sparen, Amodei will Risiken senken. Das Motiv ist ein anderes. Der Satzbau, den das Kartellrecht prüft, ist derselbe.

Nur ist die Frage seit dem 13. September entschieden, von beiden Seiten und gegen Amodei. David Sacks, Co-Vorsitzender des Präsidenten-Beraterrats für Wissenschaft und Technik und früherer KI-Beauftragter des Weißen Hauses, antwortete an diesem Tag auf X: Anthropic und OpenAI seien selbst die Frontier und hätten bei Marktanteil, Umsatzwachstum und Modellfähigkeit ein Duopol. Sie sollten einfach aufhören, so zu tun, als bräuchten sie die Erlaubnis von irgendjemandem. Und weiter: „Stop pretending antitrust law has to be suspended so you can form a cartel.“

Altman legte am 14. September nach. OpenAI begrüße einen bundesweit einheitlichen Sicherheitsrahmen, werde aber weder auf Gesetzgebung noch auf eine Kartellausnahme warten. Das Unternehmen schreibe künftig vor großen Trainingsläufen, von denen es einen deutlichen Fähigkeitssprung erwartet, ausdrückliche Sicherheitsbegründungen. Wer diese prüft und welche Läufe zählen, steht nicht dabei.

Am selben Tag meldete sich Donald Trump auf Truth Social: Die einzige Kontrolle, die KI brauche, sei ein starker Präsident. Amodei nannte er namentlich und warf ihm vor, sich nun als Unschuldsengel aufzuspielen. KI-nahe Aktien gaben nach.

Einen Tag später stellte sich heraus, dass die Frage ohnehin überholt war. Chris Lehane, Policy-Chef von OpenAI, sagte Reportern in Washington, sein Unternehmen arbeite mit Anthropic und Google DeepMind seit Wochen an Sicherheitsfragen zusammen – und brauche dafür keine Kartellausnahme. Nach Recherchen von The Information bauen die drei bereits an einem eigenen Normungsgremium. Im selben Gespräch erklärte Lehane, OpenAI unterstütze eine Vorschrift im FRONTIER Act, die Frontier-Labore verpflichten würde, unabhängige Verifizierungsorganisationen ins Haus zu lassen.

Damit liest sich der Essay anders. Amodei hat öffentlich um eine Erlaubnis gebeten für etwas, das die drei nach eigener Auskunft längst tun. Was genau sie besprechen – gemeinsame Standards allein oder auch das Tempo –, hat bislang keiner von ihnen offengelegt. Genau diese Unterscheidung entscheidet, ob es Normung ist oder ein Kartell.

Wen trifft die Bremse wirklich?

Sechs Wochen vor dem Essay stand Anthropic bei einer verwandten Frage allein. Am 24. Juli 2026 veröffentlichte Nvidia-Chef Jensen Huang den Brief „Open Weights and American AI Leadership“, der Washington vor Beschränkungen für Modelle mit frei herunterladbaren Gewichten warnt.

Huangs Interesse liegt offen: Offene Modelle laufen auf Firmen-Clustern, regionalen Clouds und Racks vor Ort, deren Betreiber keine eigenen KI-Chips entwickeln – anders als die drei, vier Anbieter geschlossener Modelle. Nach Huangs eigener Angabe stammt jedes vierte heute erzeugte Token aus einem offenen Modell.

Binnen eines Tages verdoppelte sich die Unterzeichnerliste auf 50 Namen, darunter nachgereicht OpenAI und Google; Anfang August waren es über 270. Anthropic und Amazon fehlten durchgehend. Der Brief fordert außerdem ausdrücklich, Distillation – das Training eines Modells auf den Ausgaben eines stärkeren – nicht als Diebstahl zu behandeln, sondern unerlaubte Fälle gezielt juristisch zu verfolgen. Bei dieser Frage steht Amodei exakt entgegengesetzt: Er verlangt härteres Vorgehen gegen unautorisierte Distillation.

Zwei Tage vor dem Brief hatte der Direktor des Weißen-Haus-Büros für Wissenschaft und Technologie, Michael Kratsios, dem chinesischen Anbieter Moonshot AI vorgeworfen, sein Modell Kimi K3 aus Anthropics Fable destilliert zu haben; Anthropics Policy-Chefin bedankte sich dafür öffentlich. Belege wurden nie vorgelegt, und Fachleute halten die Zeitschiene für zu eng: Fable war erst seit dem 1. Juli wieder verfügbar, K3 erschien am 16. Juli. Geschäftsinteresse und Sicherheitsforderung fallen hier sichtbar zusammen.

Der Markt ist ohnehin entschieden. Nach dem Bericht zum Stand offener Modelle vom 14. August kam Alibabas Qwen-Familie 2026 auf rund 2,05 Milliarden Downloads, Google auf 418 Millionen, Meta auf 227 Millionen. Und Modelle unter einer Milliarde Parameter machen 83 Prozent aller Downloads aus. Das ist die Klasse, die auf Gateways, Industrierechnern und Edge-Hardware läuft, wo die Cloud-Schnittstelle nichts nützt. Ein Regime, das ein Sicherheitszertifikat an das Modell koppelt, trifft genau diese Klasse zuerst: Eine Gewichtsdatei lässt sich nach der Veröffentlichung verändern, das Zertifikat beschriebe dann ein Modell, das so nirgends mehr läuft.

Was bedeutet das für Betreiber vernetzter Geräte?

Für die Praxis ändert der Aufruf zur Verlangsamung in den nächsten zwölf Monaten nichts. Die relevante Verschiebung hat bereits stattgefunden. Anthropics Bedrohungsbericht vom 10. September beschreibt eine automatisierte Kette, die längst gegen Hardware läuft: Firmware beschaffen und entschlüsseln, entpacken, in den Decompiler laden, Schwachstellenhypothesen bilden, Exploit schreiben, gegen Laborkopien testen, wiederholen.

Ein einzelner solcher Arbeitsablauf gegen Netzwerk-Appliances erbrachte in einem Monat mehr als ein Dutzend mögliche Zero-Day-Funde. Betrieben wurde er von chinesischsprachigen Akteuren, zwei davon Studenten. In anderen Fällen griffen Angreifer Tokens für Live-Kamerastreams ab; bei einem Energieversorger behaupteten sie, den Ladestrom von Wallboxen in Kundenhaushalten fernsteuern zu können.

Der begrenzende Faktor für Botnetz-Kampagnen war nie die Zahl verwundbarer Geräte. Mirai skalierte 2016 über Standardpasswörter, weil das billig war. Teuer waren immer die Exploits und die Leute, die sie schreiben. Anthropic formuliert die Konsequenz selbst nüchtern: Keine der beschriebenen Operationen habe eine völlig neue Technik gebraucht. Geändert habe sich die Ökonomie. Sicherheit durch Unbekanntheit trage nicht mehr, alles am Netz sei ein mögliches Ziel.

Der europäische Gesetzgeber ist an dieser Stelle weiter als die Debatte – zumindest auf dem Papier. Seit dem 11. September 2026 müssen Hersteller vernetzter Produkte aktiv ausgenutzte Schwachstellen und schwere Sicherheitsvorfälle nach dem Cyber Resilience Act binnen 24 Stunden an die EU-Agentur ENISA und das zuständige nationale CSIRT melden, binnen 72 Stunden folgt die vollständige Meldung. Verstöße können mit bis zu 15 Millionen Euro oder 2,5 Prozent des weltweiten Jahresumsatzes geahndet werden. Vollständig greift die Verordnung ab dem 11. Dezember 2027. Kurz vor dem Stichtag war die Meldeplattform der ENISA Berichten zufolge allerdings noch nicht vollständig einsatzbereit.

Fazit

Ob die Beteiligten einsichtig geworden sind, lässt sich nicht berichten. Die Frage ist auch die falsche. Prüfbar ist, was Zusagen kosten und wen sie binden.

Ein Unternehmen hat einen Plan veröffentlicht, sich einseitig zu externer Prüfung verpflichtet und weder Prüfer noch Termin benannt. Ein zweites hat im August zwei Wochen pausiert, die Kosten beziffert, am 3. September sein fähigstes Modell ausgeliefert, zehn Tage nach der Pausenankündigung ein stärkeres Training begonnen – und erklärt inzwischen, es brauche dafür keine Erlaubnis aus Washington. Zwei weitere Chefs haben zugestimmt, ohne etwas zuzusagen. Der Präsident hält das Ganze für überflüssig.

Einsicht und Kalkül schließen sich dabei nicht aus. Die Befunde in den eigenen Unterlagen – ein schlechter überwachbares Modell, ein Schwarm, der sein eigenes Protokoll fälscht – veröffentlicht niemand zum Vergnügen; sie schwächen die eigene Aufsichtserzählung. Dass dieselben Unternehmen daraus einen Vorschlag ableiten, der ihre bereits gebaute Sicherheitsapparatur zur Pflicht für alle machen würde, ist eben beides zugleich.

Für Hersteller vernetzter Geräte folgt daraus eine unbequeme, aber einfache Annahme: Die Firmware, die Sie ausliefern, wird inzwischen maschinell und rund um die Uhr auf Lücken geprüft. Von beiden Seiten. Daran ändert keine Bremse etwas – und schon gar keine, die noch niemand eingebaut hat.

- Advertisement -