Wie gefährlich ist Anthropic's Mythos AI? | Bruce Schneier

Letzten Monat hat Anthropic eine bemerkenswerte Ankündigung über sein neues Modell, Claude Mythos Preview, gemacht: Es war so gut darin, Sicherheitslücken in Software zu finden, dass das Unternehmen es nicht der breiten Öffentlichkeit zugänglich machen würde. Stattdessen würde es nur einer ausgewählten Gruppe von Unternehmen zur Verfügung stehen, um ihre eigene Software zu scannen und zu reparieren.

Die Ankündigung erfordert Kontext – aber sie enthielt eine wesentliche Wahrheit.

Während Anthropic's Modell wirklich gut darin ist, Software-Schwachstellen zu finden, sind es andere Modelle auch. Das UK's AI Security Institute fand heraus, dass OpenAI's GPT-5.5, das bereits allgemein verfügbar ist, in seinen Fähigkeiten vergleichbar ist. Das Unternehmen Aisle reproduzierte die von Anthropic veröffentlichten Ergebnisse mit kleineren, günstigeren Modellen.

Gleichzeitig macht Anthropic's Weigerung, sein neues Modell öffentlich freizugeben, aus einer Notwendigkeit eine Tugend. Mythos ist sehr teuer im Betrieb, und das Unternehmen scheint nicht über die Ressourcen für eine allgemeine Veröffentlichung zu verfügen. Was gibt es Besseres, um die Bewertung des Unternehmens zu steigern, als Fähigkeiten anzudeuten, aber sie nicht zu beweisen, und dann andere ihre Behauptungen wiederholen zu lassen?

Nichtsdestotrotz ist die Wahrheit beängstigend. Moderne generative KI-Systeme – nicht nur die von Anthropic, sondern auch die von OpenAI und andere Open-Source-Modelle – werden wirklich gut darin, Schwachstellen in Software zu finden und auszunutzen. Und das hat wichtige Auswirkungen auf die Cybersicherheit: sowohl auf der Angriffs- als auch auf der Verteidigungsseite.

Angreifer werden diese Fähigkeiten nutzen, um Schwachstellen in allen Arten von Systemen zu finden und automatisch zu hacken. Sie werden in der Lage sein, in kritische Systeme auf der ganzen Welt einzudringen, manchmal um Ransomware zu installieren und Geld zu verdienen, manchmal um Daten für Spionagezwecke zu stehlen, und manchmal, um Systeme in Zeiten von Feindseligkeiten zu kontrollieren. Dies wird die Welt zu einem viel gefährlicheren und volatileren Ort machen.

Aber gleichzeitig werden Verteidiger dieselben Fähigkeiten nutzen, um viele dieser Systeme zu finden und dann zu patchen. Zum Beispiel nutzte Mozilla Mythos, um 271 Schwachstellen in Firefox zu finden. Diese Schwachstellen wurden behoben und werden Angreifern nie wieder zur Verfügung stehen. In Zukunft wird das automatische Finden und Beheben von Schwachstellen durch KI in allen Software ein normaler Bestandteil des Entwicklungsprozesses sein, was zu wesentlich sichererer Software führen wird.

Natürlich ist es nicht so einfach. Wir sollten eine Flut von Angreifern erwarten, die neu gefundene Schwachstellen nutzen, um in Systeme einzubrechen, und gleichzeitig viel häufigere Software-Updates für jede App und jedes Gerät, das wir nutzen. Aber viele Systeme sind nicht patschbar, und viele Systeme, die es sind, werden nicht gepatcht, was bedeutet, dass viele Schwachstellen bestehen bleiben. Und es scheint, dass das Finden und Ausnutzen einfacher ist als das Finden und Beheben. All dies deutet auf eine gefährlichere kurzfristige Zukunft hin. Organisationen müssen ihre Sicherheit an diese neue Realität anpassen.

Aber es ist die langfristige Perspektive, auf die wir uns konzentrieren müssen. Mythos ist nicht einzigartig, aber es ist leistungsfähiger als viele Modelle, die ihm vorausgegangen sind. Und es ist weniger leistungsfähig als Modelle, die danach kommen werden. KI ist viel besser darin, Software zu schreiben, als sie es noch vor sechs Monaten war. Es gibt allen Grund zu der Annahme, dass sie sich weiter verbessern wird, was bedeutet, dass sie besser darin wird, sicherere Software zu schreiben. Das Endspiel gibt KI-gestützten Verteidigern Vorteile gegenüber KI-gestützten Angreifern.

Noch interessanter sind die breiteren Implikationen. Dieselben Such-, Mustererkennungs- und Schlussfolgerungsfähigkeiten, die diese Modelle so gut in der Softwareanalyse machen, gelten mit ziemlicher Sicherheit auch für ähnliche Systeme. Der Steuerkodex ist kein Computercode, aber er ist eine Reihe von Algorithmen mit Ein- und Ausgaben. Er hat Schwachstellen; wir nennen sie Steuerschlupflöcher. Er hat Exploits; wir nennen sie Steuervermeidungsstrategien. Und er hat Black-Hat-Hacker: Anwälte und Buchhalter.

So wie diese Modelle Hunderte von Schwachstellen in komplexen Softwaresystemen finden, sollten wir erwarten, dass sie ebenso effektiv darin sind, viele neue und unentdeckte Steuerschlupflöcher zu finden. Ich bin zuversichtlich, dass die großen Investmentbanken gerade heimlich daran arbeiten. Sie haben KI den Steuerkodex der USA oder des Vereinigten Königreichs oder vielleicht jedes Industrielandes gefüttert und das System mit der Suche nach geldsparenden Strategien beauftragt. Wie viele Steuerschlupflöcher werden diese KIs finden? Zehn? Hundert? Tausend? Der "Double Dutch Irish Sandwich" ist ein Steuerschlupfloch, das mehrere verschiedene Steuergerichtsstände betrifft. Können KIs noch komplexere Schlupflöcher finden? Wir haben keine Ahnung.

Sicher, die KIs werden eine Reihe von Tricks entwickeln, die nicht funktionieren werden, aber dafür sind dann die Anwälte und Buchhalter zuständig – um die Schlupflöcher zu überprüfen und dann zu rechtfertigen. Und dann, um sie ihren wohlhabenden Kunden zu vermarkten.

Wie der Steuerkodex, so jedes andere komplexe System von Regeln und Strategien. Diese Modelle könnten damit beauftragt werden, Schlupflöcher in Umweltvorschriften oder Lebensmittel- und Sicherheitsvorschriften zu finden – überall dort, wo es komplexe Regulierungssysteme und mächtige Menschen gibt, die diese Regeln umgehen wollen.

Die Ergebnisse werden weitaus schlimmer sein als unsichere Computer. Steuerschlupflöcher führen zu geringeren Einnahmen für die Regierungen, und regulatorische Schlupflöcher erlauben den Mächtigen, die Regeln zu umgehen, beides hat alle möglichen sozialen Auswirkungen. Und während Softwareanbieter ihre Systeme in Tagen patchen können, dauert es im Allgemeinen Jahre, bis ein Land seinen Steuerkodex ändert. Und dieser Prozess ist politisch, mit Lobbyisten, die Gesetzgeber unter Druck setzen, nicht zu patchen. Schauen Sie sich nur das "Carried Interest"-Schlupfloch an, eine US-Steuerhinterziehung, die seit Jahrzehnten ausgenutzt wird. Verschiedene Verwaltungen haben versucht, die Schwachstelle zu schließen, aber die Gesetzgeber können den Lobbyisten einfach nicht lange genug widerstehen, um sie zu patchen.

KI-Technologien stehen bereit, einen großen Teil der Gesellschaft neu zu gestalten. So wie die industrielle Revolution den Menschen die Fähigkeit gab, Kalorien außerhalb ihres Körpers in großem Maßstab zu konsumieren, wird die KI-Revolution den Menschen die Fähigkeit geben, kognitive Aufgaben außerhalb ihres Körpers in großem Maßstab auszuführen. Unsere Systeme sind nicht dafür ausgelegt; sie sind für menschlichere kognitive Geschwindigkeiten ausgelegt. Wir sehen es gerade jetzt in der Flut von Software-Schwachstellen, die diese Modelle finden und ausnutzen. Und wir werden bald eine Flut von Schwachstellen in allen möglichen anderen Regelsystemen sehen. Die Anpassung an diese neue Realität wird schwierig sein, aber wir haben keine Wahl.

-
Bruce Schneier ist ein Sicherheitstechnologe, der an der Harvard Kennedy School an der Harvard University lehrt