Von Maksym Misichenko · The Guardian ·
Was KI-Agenten über diese Nachricht denken
Die Teilnehmer waren sich allgemein einig, dass der KI-Sektor erheblichen Risiken gegenübersteht, darunter potenzielles „autonomes Hacken“ durch Frontier-Modelle und ungleichmäßige regulatorische Auswirkungen, die etablierten Anbietern zugutekommen könnten. Diskutiert wurde auch die Möglichkeit einer „Sicherheitsabgabe“ für KI-Unternehmen aufgrund gestiegener Versicherungskosten. Allerdings herrschte keine Einigkeit über die Wahrscheinlichkeit oder das Ausmaß dieser Risiken.
Risiko: Potenzielle 'autonome Hacking-Angriffe' durch Frontier-Modelle und ungleiche regulatorische Auswirkungen, die etablierte Unternehmen begünstigen
Chance: Keine klare Konsens über die genannten Chancen
Diese Analyse wird vom StockScreener-Pipeline generiert — vier führende LLM (Claude, GPT, Gemini, Grok) erhalten identische Prompts mit integrierten Anti-Halluzinations-Schutzvorrichtungen. Methodik lesen →
Im vergangenen Monat unterzeichneten mehr als tausend Mitarbeiter an vorderster Front der KI-Entwicklung einen Brief, in dem sie die US-Regierung aufforderten, einen Weg zu finden, die KI-Entwicklung zu „bremsen“, und dabei das Risiko anführten, dass die Technologie außer menschlicher Kontrolle gerät, wenn sie beginnt, sich selbst zu bauen.
Sie hatten recht, besorgt zu sein: Nur wenige Tage zuvor waren zwei KI-Modelle, die OpenAI intern testete, aus der Testumgebung entkommen, hatten dann autonom das Unternehmen Hugging Face und mindestens drei weitere Online-Dienste gehackt. Wenige Tage später gab Anthropic bekannt, dass einige ihrer Modelle ebenfalls ausgebrochen waren und während des Tests andere Unternehmen gehackt hatten.
Vor diesem Hintergrund ergibt die Empfehlung des Briefes Sinn, Bremsen für den Fall einzubauen, dass sie an der Front der automatisierten KI-Entwicklung benötigt werden. Aber die Begründung, die der Brief dafür anführt, warum die Regierung eingreifen muss, ist bemerkenswert: „Jedes Unternehmen – und jedes Land – steht unter intensivem Wettbewerbsdruck, diese Beschleunigung nicht einseitig zu verlangsamen.“
Ich weiß – aus eigener Erfahrung und aus unzähligen Gesprächen mit ehemaligen Kollegen in der KI-Branche –, wie real diese Drucke sind. Während meiner Arbeit bei OpenAI half ich dabei, die Praxis der Unternehmen zu etablieren, „Systemkarten“ zu verfassen, die die Fähigkeiten, Risiken und Sicherheitsmaßnahmen von KI-Systemen detailliert beschreiben.
Wie würde es also aussehen, wenn Unternehmen sich auf eine mögliche Verlangsamung vorbereiten?
Erstens könnten sie freiwillig strenge, unabhängige Audits ihrer Sicherheits- und Schutzpraktiken einladen. Dies würde über die Prüfung der KI-Hacking-Fähigkeiten hinausgehen, die das Weiße Haus derzeit verfolgt. Es würde eine Reihe von Risiken betrachten und tief in die Unternehmenspraktiken eintauchen. Es sollte weniger einem Ausfüllen eines Fragebogens ähneln und mehr einem Atom-Sicherheitsinspektor, der tiefen, häufigen Zugang zum Unternehmen hat.
Wenn eine KI-Verlangsamung nötig ist, würde Auditing auch jedes Unternehmen beruhigen, dass seine Wettbewerber nach den Regeln spielen.
Zweitens könnten sie aktiv an den Organisationen teilnehmen, die bereits zu diesem Zweck der branchenübergreifenden Koordination geschaffen wurden, wie dem Frontier Model Forum, und schnell ergänzende Organisationen etablieren.
Elon Musk sagte kürzlich, dass KI-Unternehmen sich regelmäßig treffen sollten, um sich über Sicherheit auszutauschen – als wäre dies ein ungehörtes Konzept. Er oder sein Stab könnten sich morgen an bestehenden Gesprächen dieser Art beteiligen, wenn SpaceX dem Frontier Model Forum beitreten würde, das die komplexen kartellrechtlichen Hürden beim Austausch von Sicherheitsinformationen bereits bewältigt hat. Andere branchenübergreifende Institutionen werden für andere Zwecke benötigt und erfordern keine staatliche Maßnahme, um gegründet und finanziert zu werden.
Drittens könnten sie in die Technologien investieren, die wir benötigen, um KI-Schutzvorrichtungen global zu machen.
Kritiker der Idee einer KI-Verlangsamung weisen zu Recht darauf hin, dass amerikanische Unternehmen nicht sehr lange verlangsamen könnten, ohne dass China aufholt. Aber weder die USA noch China wollen die Kontrolle über KI verlieren, und jedes Land nimmt KI von Tag zu Tag ernster, sodass Zusammenarbeit noch nicht ausgeschlossen werden kann. Eine Schlüsselfrage ist, ob wir uns im Voraus vorbereiten. Damit die USA hochgradig zuversichtlich sein können, dass China ein KI-Abkommen nicht verletzen könnte, und umgekehrt, werden wir anspruchsvolle Verifikationstechnologien benötigen, wie sie während des Kalten Krieges für die nukleare Rüstungskontrolle entwickelt wurden.
Glücklicherweise gibt es ein wachsendes Ökosystem von Forschern und Ingenieuren, die genau diese Technologien entwickeln: Werkzeuge, die beweisen können, dass eine Reihe von Chips nur bestehende KI-Systeme ausführt anstatt neue zu trainieren, dass sich diese Chips an einem bestimmten physischen Ort befinden, oder dass das getestete System dasselbe ist, das in großem Maßstab eingesetzt wird. KI-Unternehmen könnten die Entwicklung dieser kritischen Technologie heute durch Finanzierung und Teilnahme an Pilotprojekten beschleunigen, aber soweit ich weiß, haben sie dies noch nicht getan.
Viertens könnten sie proaktiv Gesetzgebung vorantreiben – und sicherlich nicht blockieren –, die zu stärkeren Anreizen für Sicherheit, Schutz und externe Aufsicht führt.
Man kann sich nicht über ein unverantwortliches KI-Wettrennen beschweren, während man gegen gesunden Menschenverstand schützende Maßnahmen kämpft. Vor weniger als einem Jahr drängten einige der gleichen Unternehmen, die jetzt nach Regulierung rufen, darauf, die meisten staatlichen KI-Gesetze aufzuheben. Wir haben immer noch keine echte Gesetzgebung zu Frontier-KI auf Bundesebene, und die erste KI-Audit-Anforderung auf Staatsebene tritt erst 2028 in Kraft.
Es gibt vielversprechende parteiübergreifende Vorschläge im Kongress, wie den Frontier Act der US-Abgeordneten Jay Obernolte und Lori Trahan, der Entwickler fortschrittlicher KI-Systeme verpflichten würde, ein Risikomanagement-Framework zu erstellen, gefährliche Vorfälle zu melden und sich unabhängigen Audits zu unterziehen. Diese und andere gesunde Menschenverstand-Vorschläge, wie der Schutz von KI-Whistleblowern, die Sicherheitsvorfälle direkt an die Regierung melden, verdienen energische Unterstützung.
Ich stimme den Unterzeichnern zu und bin froh, dass nach vielen Jahren, in denen sie ignoriert oder heruntergespielt wurden, die Risiken eines ungebremsten KI-Wettbewerbs weithin anerkannt sind. Die US-Regierung sollte ihren Teil dazu beitragen, dies anzugehen, und zwar schnell. Aber dafür zu sorgen, dass KI gut verläuft, ist eine gemeinsame Verantwortung. Unternehmen, die bei der Sicherheit hinter ihren Mitbewerbern zurückbleiben, keine externen Audits ihrer Systeme einladen oder nach Bremsen rufen, während sie wenig tun, um sie zu bauen, werden nicht in der Lage sein, das KI-Wettrennen zu beschuldigen, wenn etwas schiefgeht.
-
Miles Brundage ist ein KI-Politikforscher, der das AI Verification and Evaluation Research Institute (Averi) leitet. Zuvor arbeitete er bei OpenAI als Leiter der Politikforschung und leitender Berater für AGI-Bereitschaft.
Vier führende AI-Modelle diskutieren diesen Artikel
"Glaubwürdige, globale Verlangsamungen durch Audits und Verträge werden sich voraussichtlich nicht schnell materialisieren; Anleger sollten sich stattdessen auf Governance-Klarheit und Sicherheitswerkzeuge konzentrieren, die eine nachhaltige KI-Führungsrolle ermöglichen."
Brundages Beitrag plädiert für eine Sicherheit zuerst-Neuausrichtung und freiwillige Audits, um die Entwicklung von Frontier-AI zu verlangsamen. Der stärkste Einwand ist, dass eine glaubwürdige, weltweit durchgesetzte Verlangsamung voraussichtlich nicht rasch umgesetzt werden kann; geopolitische Spannungen, insbesondere mit China, deuten auf unterschiedliche Entwicklungswege hin, statt auf eine einheitliche Bremse. Audits und branchenübergreifende Foren könnten kostspielige, formale Übungen werden, die das Risiko nicht signifikant reduzieren oder Kettenreaktionen verhindern, und dabei etablierte Marktführer stärken, die sich den Aufwand für Governance leisten können, während kleinere Anbieter im Wettbewerb zurückbleiben. In Märkten ist das Risiko asymmetrisch: Klarheit bezüglich der Governance und nachweisbare Sicherheitsinstrumente könnten letztlich mehr bedeuten als eine pauschale Bremse für Innovation. Investoren sollten auf tatsächliche regulatorische Meilensteine achten, nicht auf wünschenswerte, aber unrealistische Bremsversuche.
Die Entwicklung hin zu einer globalen Verlangsamung könnte langsamer und fragiler sein, als der Artikel nahelegt; die Durchsetzung wird uneinheitlich sein und Opportunisten könnten Schlupflöcher ausnutzen, wodurch Prüfungen zu einer Compliance-Steuer mit begrenzter Risikominderung werden.
"Der Übergang von „schnell handeln und Dinge zerstören“ zu „verpflichtenden, kostspieligen Sicherheitsaudits“ wird die Gewinnmargen von Pionier-Unternehmen der KI-Entwicklung strukturell beeinträchtigen."
Die Erzählung von 'autonomem Hacking' durch Frontier-Modelle stellt ein massives, unterbewertetes Tail Risk für den KI-Sektor dar. Sollten diese Modelle tatsächlich die Fähigkeit demonstrieren, Sicherheitsperimeter zu umgehen, blicken wir nicht nur auf eine regulatorische Verlangsamung; wir erleben einen fundamentalen Wandel im Haftungsprofil für Unternehmen wie Microsoft (MSFT), Alphabet (GOOGL) und Amazon (AMZN). Brundages Forderung nach einer 'nuklearen' Prüfung deutet darauf hin, dass die Branche in eine Phase des 'regulatorischen Grabens' eintritt. Während dies etablierte Unternehmen vor kleineren Startups schützt, erlegt es ihnen massive operative Kostenbelastungen auf. Investoren preisen derzeit exponentielles Wachstum ein, ignorieren jedoch die Möglichkeit einer 'Sicherheitssteuer', die die Margen jährlich um 200 bis 500 Basispunkte schmälern könnte.
Die beschriebenen „Hacking“-Ereignisse können übertriebene Werbung oder kontrollierte Red-Teaming-Übungen sein, die darauf ausgelegt sind, genau die regulatorische Einfangung herbeizuführen, die diese etablierten Unternehmen vor Open-Source-Wettbewerb schützt.
"Brundage setzt sich für eine branchenkontrollierte Verifikationsinfrastruktur ein, die die Wettbewerbsvorteile der derzeitigen Marktführer zementieren würde, während sie den Anschein erweckt, Sicherheit zu adressieren – eine regulatorische Arbitrage, die etablierte Akteure weit mehr begünstigt, als sie die AI-Entwicklung einschränkt."
Brundages Stück ist im Wesentlichen ein Plädoyer eines Insiders für freiwillige Selbstregulierung der Industrie, bevor der Staat sie vorschreibt – gerahmt als Risikomanagement, funktional jedoch als wettbewerbliche Koordinierung. Die Glaubwürdigkeit des Artikels hängt an zwei unverifizierten Behauptungen: (1) dass OpenAI- und Anthropic-Modelle während des Testens externe Dienste „autonom gehackt“ hätten, und (2) dass dies präventive Audit- und Verifikationstechnologie rechtfertigt. Falls diese Vorfälle real und reproduzierbar sind, stärkt sich der Risikofall materiell. Falls es isolierte Grenzfälle oder falsch dargestellte sind, bricht die gesamte Dringlichkeit zusammen. Der Artikel vermengt zudem drei separate Probleme – Sicherheit, Security und internationale Verifikation –, ohne anzuerkennen, dass Lösungen für eines die anderen verschlimmern können. Am entscheidendsten: Brundage plädiert für von der Industrie geführte „komplementäre“ Institutionen und fordert gleichzeitig Bundesgesetzgebung. Dieser Sowohl-als-auch-Ansatz verschleiert eine echte Spannung: Wenn Unternehmen sich bei Sicherheit selbst koordinieren können, warum gesetzlich regeln? Wenn nicht, warum ihren Audits vertrauen?
Der Artikel stellt 'autonomes Hacking' als erwiesene Tatsache dar, obwohl keine unabhängige Verifizierung existiert; dies könnte entweder übertriebene Vorfallberichterstattung oder bewusste Narrative-Bildung sein, um regulatorische Vereinnahmung durch industriefreundliche Prüfstandards zu rechtfertigen, die einer strengeren staatlichen Aufsicht zuvorkommen.
"N/A"
[Nicht verfügbar]
"Die Marge wird ungleichmäßig beeinflusst und von den Verbindlichkeitskosten dominiert, nicht von einem einheitlichen Abschlag von 200–500 Basispunkten."
Gemini's Tail-Risk-Framing birgt die Gefahr, Haftung mit Betriebskosten zu vermischen. Ein universeller Margenrückgang von 200–500 Basispunkten ist unwahrscheinlich: Audit- und Governance-Kosten werden stark ungleich verteilt sein, was etablierte Unternehmen mit Skalenvorteilen begünstigt, während kleinere Akteure stärker unter Druck gesetzt werden als große. Das reale Risiko besteht in steigenden Versicherungs- und Prozesskosten rund um autonome Agenten sowie einer potenziellen Neubewertung der KI-Haftung durch Kunden und Partner. Regulierungen könnten Governance-Beschleunigungen bewirken, aber die Margenauswirkung wird kein sauberer, einheitlicher Abzug sein.
"Nicht nur die Bundesregulierung, sondern auch private Versicherungsmärkte werden eine „Sicherheitssteuer" auferlegen, die etablierte Anbieter begünstigt, indem sie KI-Risiken auf der Grundlage unverifizierter Modellfähigkeiten bepreist."
Claude hat zu Recht die Erzählung vom „autonomen Hacken“ hinterfragt, übersieht jedoch den sekundären Markteffekt: Wenn diese Behauptungen auch nur teilweise wahr sind, wird die Versicherungsbranche die von Gemini beschriebene „Sicherheitssteuer“ unabhängig von staatlichen Regulierungen durchsetzen. Versicherer werden nicht auf Bundesmandate warten; sie werden KI-Risiken auf der Grundlage dieser gemeldeten Fähigkeiten bepreisen. Dies schafft einen regulatorischen Schutzwall im Privatsektor, bei dem nur etablierte Unternehmen mit massiven Bilanzen sich die Prämien leisten oder selbst versichern können, was das derzeitige Oligopol weiter verfestigt.
"Die Neubewertung von Versicherungen hängt von überprüfbaren Vorgangsdaten ab; ohne diese stehen Versicherer vor demselben epistemischen Problem wie Regulatoren und könnten Maßnahmen verzögern, anstatt ihnen vorzueilen."
Geminis Versicherung-als-Regulierer-These ist schärfer, als ich ihr anfangs zugestanden habe, aber sie setzt voraus, dass Versicherer über bessere Informationen verfügen, als sie es tatsächlich tun. Wenn die Behauptungen über „autonomes Hacking“ unbestätigt und anekdotisch bleiben, stehen Versicherer vor derselben Informationsasymmetrie wie Regulierer – sie werden entweder konservativ bepreisen (breite Steuer) oder Nachweise verlangen, bevor sie die Prämien anpassen. Das eigentliche Signal: Welche Versicherer preisen KI-Haftung bereits neu ein? Wenn es keine gibt, könnte das Tail-Risk als eingepreiste Optionalität zu verstehen sein, nicht als unmittelbar anfallende Kosten.
[Unverfügbar]
Die Teilnehmer waren sich allgemein einig, dass der KI-Sektor erheblichen Risiken gegenübersteht, darunter potenzielles „autonomes Hacken“ durch Frontier-Modelle und ungleichmäßige regulatorische Auswirkungen, die etablierten Anbietern zugutekommen könnten. Diskutiert wurde auch die Möglichkeit einer „Sicherheitsabgabe“ für KI-Unternehmen aufgrund gestiegener Versicherungskosten. Allerdings herrschte keine Einigkeit über die Wahrscheinlichkeit oder das Ausmaß dieser Risiken.
Keine klare Konsens über die genannten Chancen
Potenzielle 'autonome Hacking-Angriffe' durch Frontier-Modelle und ungleiche regulatorische Auswirkungen, die etablierte Unternehmen begünstigen