Kalifornien verabschiedet erstes KI-Sicherheitsgesetz der USA

Kaliforniens Gouverneur Gavin Newsom unterzeichnete Ende September 2025 das „Transparency in Frontier Artificial Intelligence Act“ (SB 53). Die Regelung verpflichtet Entwickler besonders leistungsstarker KI-Modelle dazu, künftig Sicherheitsmaßnahmen offenzulegen und Vorfälle zu melden. Ziel ist es, Risiken sogenannter „Frontier AI“-Systeme zu überwachen – also jener KI-Modelle, deren Rechenleistung und Fähigkeiten weit über bisherige Anwendungen hinausgehen.

Das Gesetz gilt als wichtiger Schritt in der US-Debatte über KI-Regulierung. Während die Europäische Union mit ihrer KI-Verordnung bereits ein umfassendes Regelwerk beschlossen hat, existiert in den Vereinigten Staaten bislang keine bundesweite Regulierung. Kalifornien, Sitz vieler führender Technologieunternehmen, will mit dem Transparency in Frontier Artificial Intelligence Act, SB 53 nun eine Vorreiterrolle übernehmen – allerdings in abgeschwächter Form gegenüber früheren Plänen.

Kompromiss nach umstrittenem Vorgänger

Der neue Rechtsrahmen ist die überarbeitete Version eines älteren, deutlich strengeren Gesetzesentwurfs. Der Vorgänger SB 1047 war 2024 im kalifornischen Parlament verabschiedet, dann aber von Gouverneur Newsom blockiert worden. Dieser hatte argumentiert, die geplanten Sicherheitsprüfungen und Haftungsregeln könnten Innovation bremsen und Start-ups überfordern.

Nach dem Veto setzte die Regierung eine Arbeitsgruppe aus Vertretern von Wissenschaft, Politik und Industrie ein. Deren Auftrag war es, einen Mittelweg zwischen Innovationsfreiheit und öffentlicher Sicherheit zu entwickeln. Heraus kam das nun beschlossene SB 53, das am 1. Januar 2026 in Kraft treten soll.

Der neue Entwurf konzentriert sich auf Transparenz und Rechenschaftspflicht, verzichtet aber auf Eingriffe in den Entwicklungsprozess. Unternehmen müssen nicht offenlegen, welche Trainingsdaten oder Algorithmen sie verwenden. Stattdessen sollen sie dokumentieren, wie sie Risiken erkennen und handhaben.

Dokumentationspflicht statt Technikaufsicht

Das Gesetz richtet sich ausschließlich an große KI-Entwickler, die sogenannte „Frontier Models“ betreiben. Damit sind Basismodelle gemeint, deren Training mehr als 10²⁶ Rechenoperationen erfordert – ein Wert, der derzeit nur von wenigen Unternehmen erreicht wird. Die verschärften Pflichten gelten nur für „Large Frontier Developers“, also Firmen mit einem Jahresumsatz von über 500 Millionen US-Dollar einschließlich ihrer verbundenen Unternehmen.

Entwickler dieser Modelle müssen künftig regelmäßig Sicherheitsberichte an die kalifornischen Aufsichtsbehörden übermitteln. Darin soll offengelegt werden, welche Test- und Schutzmechanismen während Entwicklung und Training eingesetzt wurden. Auch sicherheitsrelevante Zwischenfälle müssen innerhalb von 15 Tagen gemeldet werden.

Die Daten bleiben vertraulich und werden nicht veröffentlicht. Damit will Kalifornien verhindern, dass Geschäftsgeheimnisse preisgegeben werden. Der Fokus liegt auf der behördlichen Nachvollziehbarkeit: Die Aufsicht soll prüfen können, ob Unternehmen Gefahren wie Cybermissbrauch, Desinformation oder unkontrollierte Selbstverbesserung ihrer Modelle frühzeitig erkennen.

Schutz vor „katastrophalen Risiken“

Die Gesetzgeber reagieren mit SB 53 auf Befürchtungen, dass besonders leistungsstarke KI-Systeme künftig eigenständig handeln oder für gefährliche Zwecke eingesetzt werden könnten. Diskutiert werden Szenarien wie automatisierte Cyberangriffe, biotechnologische Anwendungen oder koordinierte Desinformationskampagnen.

Das Gesetz soll ein Frühwarnsystem schaffen, um solche Risiken zu erfassen, bevor sie Schaden anrichten. Es zielt nicht auf ethische Fragen oder Datenschutz, sondern auf systemische und sicherheitsrelevante Gefahren. In diesem Punkt unterscheidet sich SB 53 deutlich von den bisherigen US-Debatten über KI, die häufig wirtschaftlich geprägt sind.

Parallelen und Unterschiede zum EU-Gesetz

Mit dem Beschluss rückt Kalifornien näher an die europäische Regulierung heran. Der EU AI Act, im Mai 2024 verabschiedet, regelt den Einsatz von Künstlicher Intelligenz in der gesamten Europäischen Union und tritt ab 2026 schrittweise in Kraft.

Beide Gesetze haben ein gemeinsames Ziel: mehr Transparenz und Verantwortung im Umgang mit KI. In beiden Fällen müssen Entwickler nachweisen, dass sie Risiken identifizieren und mindern. Sowohl der EU AI Act als auch SB 53 behandeln besonders große Basismodelle als eigene Risikokategorie.

Die Ansätze unterscheiden sich jedoch deutlich. Während die EU-Verordnung sämtliche KI-Anwendungen – von Gesichtserkennung bis Chatbots – erfasst und verbindliche Prüfverfahren vorsieht, konzentriert sich Kalifornien ausschließlich auf Hochleistungsmodelle. Die EU verlangt zudem eine Konformitätsbewertung und sieht bei Verstößen Bußgelder von bis zu sieben Prozent des weltweiten Umsatzes vor. Das kalifornische Gesetz setzt dagegen auf Selbstverpflichtung unter Aufsicht; konkrete Strafrahmen werden noch festgelegt.

Kaliforniens Ansatz ist damit selektiver und wirtschaftsfreundlicher, aber auch weniger umfassend.

Kritik von beiden Seiten

Das Gesetz stößt auf gemischte Reaktionen. Vertreter großer Technologieunternehmen loben den pragmatischen Ansatz, warnen aber vor zusätzlicher Bürokratie und unklaren Auslegungsfragen. Die Pflicht zur Vorlage von Sicherheits- und Risikoanalysen erfordere interne Strukturen, die viele Firmen erst aufbauen müssten.

Gleichzeitig bemängeln Kritiker aus Wissenschaft und Zivilgesellschaft, dass SB 53 nur für sehr große Unternehmen gilt. Die Regelung greift erst, wenn ein Entwickler mehr als 500 Millionen US-Dollar Jahresumsatz erzielt und ein Modell trainiert, das über 10²⁶ Rechenoperationen hinausgeht. Damit werden nur wenige Konzerne erfasst – etwa OpenAI, Google DeepMind, Anthropic oder Meta.

Kleinere Anbieter und Open-Source-Projekte bleiben dagegen unreguliert. Einige Experten sehen darin eine Lücke: Auch außerhalb der großen Labore könnten Modelle entstehen, die erhebliche Risiken bergen, ohne unter die gesetzlichen Pflichten zu fallen. Andere Stimmen halten die enge Definition hingegen für notwendig, um Innovation im Mittelstand nicht zu behindern.

Auch das Fehlen unabhängiger Prüfverfahren wird kritisiert. Behörden müssen sich auf die von den Unternehmen vorgelegten Berichte verlassen; externe Audits sind nicht vorgesehen. Kritiker befürchten, dass die tatsächliche Wirksamkeit der Aufsicht dadurch begrenzt bleibt.

Fazit

Mit dem „Transparency in Frontier Artificial Intelligence Act“ setzt Kalifornien ein Zeichen in der internationalen KI-Regulierung. Das Gesetz ist ein Kompromiss zwischen wirtschaftlicher Freiheit und öffentlicher Sicherheit – abgeschwächt, aber richtungsweisend. Es verpflichtet große KI-Entwickler zu Transparenz, ohne in ihre Technologie einzugreifen, und markiert damit den Beginn einer neuen Phase im globalen Wettlauf um sichere Künstliche Intelligenz.