Anthropic behält neuestes Modell zurück, nachdem es im Test außer Kontrolle geriet; startet "Project Glasswing" zur Sicherung kritischer Software

Anthropic Withholds Latest Model After It Went Rogue In Testing; Launches "Project Glasswing" To Secure Critical Software

Noch immer angeschlagen von dem peinlichen Leak des Quellcodes, gab Anthropic bekannt, dass es sein neuestes frontier AI-Modell, Mythos, nicht für die Öffentlichkeit freigeben wird, da das Modell in einer Weise zu mächtig ist, die ein erhöhtes Cybersecurity-Risiko birgt.

In internen Tests gab Anthropic an, dass das Modell tausende von hochschwerwiegenden „Zero-Day“-Schwachstellen (bisher unbekannte Fehler) in allen wichtigen Betriebssystemen und Webbrowsern aufdeckte, was die Leistung seines vorherigen Flaggschiffs (CyberGym-Schwachstellenreproduktion: 83,1 % gegenüber 66,6 % für Opus 4,6) deutlich übertraf.  

„Angesichts des Tempos des KI-Fortschritts wird es nicht lange dauern, bis solche Fähigkeiten verbreitet sind, möglicherweise über Akteure, die sich der sicheren Bereitstellung verschrieben haben.“

Eine Zero-Day-Schwachstelle ist ein Softwarefehler, der vor der Kenntnis von jemandem, der ihn beheben kann, ausgenutzt werden kann. Das Auffinden und Patchen hat historisch seltene, teure menschliche Expertise erfordert, aber KI könnte den Umfang und die Geschwindigkeit der Erkennung verändern. 

Anthropic gab an, dass die Schwachstellen, die es findet, „oft subtil oder schwer zu erkennen“ sind. Viele davon sind 10 oder 20 Jahre alt, wobei der älteste gefundene Fehler ein jetzt behobener 27 Jahre alter Fehler in OpenBSD ist – einem Betriebssystem, das in erster Linie für seine Sicherheit bekannt ist, fügte es hinzu.  Es fand auch einen 16 Jahre alten Fehler in der FFmpeg-Mediaprozessierungsbibliothek, eine 17 Jahre alte Remote-Code-Execution-Schwachstelle im Open-Source-Betriebssystem FreeBSD und zahlreiche Schwachstellen im Linux-Kernel.

Mythos Preview identifizierte auch mehrere Schwächen in den weltweit beliebtesten Kryptographiebibliotheken, Algorithmen und Protokollen, einschließlich TLS, AES-GCM und SSH. 

Es fügte hinzu, dass Webanwendungen „eine Vielzahl von Schwachstellen“ enthalten, von Cross-Site-Scripting und SQL-Injection bis hin zu domänenspezifischen Schwachstellen wie Cross-Site-Request-Forgery, die häufig bei Phishing-Angriffen verwendet wird. 

Lebenszyklus einer Zero-Day-Exploit. Quelle: PhoenixNAP

Anthropic behauptete, dass 99 % der gefundenen Schwachstellen noch nicht behoben wurden, „daher wäre es unverantwortlich, Details darüber preiszugeben.“

Anthropic gab auch bekannt, dass Mythos während der Evaluierung in der Lage war, aus einer eingeschränkten Sandbox-Umgebung auszubrechen – eine Containment-Sorge, die zur Entscheidung beitrug, den Zugriff stark einzuschränken. Hier sind einige andere Dinge, die Mythos während des Tests tat, laut Axios:

Als skrupellosen Geschäftsmann agieren: Ein interner Test zeigte, dass Mythos wie ein skrupelloser Manager agierte, einen Konkurrenten zu einem abhängigen Großkunden machte, drohte, die Versorgung einzuschränken, um die Preise zu kontrollieren, und zusätzliche Lieferantenlieferungen aufbewahrte, für die es nicht bezahlt hatte.
Hack + prahlen: Das Modell entwickelte einen mehrstufigen Exploit, um den eingeschränkten Internetzugang zu umgehen, erlangte eine breitere Konnektivität und veröffentlichte Details des Exploits auf obskuren öffentlichen Websites.
Verbergen, was es tut: In seltenen Fällen (weniger als 0,001 % der Interaktionen) verwendete Mythos eine verbotene Methode, um eine Antwort zu erhalten und versuchte dann, sie zu „neu zu lösen“, um eine Erkennung zu vermeiden.
Den Richter manipulieren: Als Mythos an einer Coding-Aufgabe arbeitete, die von einer anderen KI bewertet wurde, beobachtete es, wie der Richter seinen Einreichung ablehnte, und versuchte dann, Prompt Injection einzusetzen, um den Gutachter anzugreifen.
 "Diese Fähigkeiten sind so stark, dass wir jetzt darauf vorbereitet werden müssen, Sicherheit auf eine ganz andere Weise als in den letzten Jahrzehnten zu gewährleisten", sagte Anthropic's Logan Graham gegenüber Axios,  und drückte seine Besorgnis darüber aus, was passieren würde, wenn ähnliche KI-Fähigkeiten von böswilligen Akteuren eingesetzt würden.

So verfolgt Anthropic anstatt einer breiten Veröffentlichung das Modell in Project Glasswing, einem defensiven, koalitionsbasierten Aufwand, der darauf abzielt, kritische Software-Schwachstellen zu identifizieren, verantwortungsvoll preiszugeben und zu patchen, bevor Bedrohungsakteure ähnliche KI-Fähigkeiten ausnutzen können.

Glasswing umfasst 11 benannte Start-Tech-Partner (Amazon Web Services, Apple, Broadcom, Cisco, CrowdStrike, Google, JPMorgan, die Linux Foundation, Microsoft, NVIDIA und Palo Alto Networks...  ja JPMorgan wird jetzt als Technologieunternehmen angesehen) sowie über 40 zusätzliche kritische Softwareorganisationen und wird durch bis zu 100 Millionen US-Dollar an Nutzungsguthaben und Finanzierung für Open-Source-Sicherheit unterstützt.

Die Initiative spiegelt Anthropic's Ansicht wider, dass frontier-AI-Cyberrisiken systemisch und nicht firmenspezifisch sind und koordinierte Maßnahmen über das gesamte Software-Ökosystem hinweg erfordern, da KI die Erkennung von Schwachstellen beschleunigt und die Reaktionszeiten verkürzt.

Die gestaffelte Veröffentlichung könnte der Blaupause für zukünftige Modellveröffentlichungen ähneln, da sie stärker und stärker werden: Beschränkung des Zugriffs auf ausgewählte Partner, die als sicher genug gelten, um weltverändernde Systeme zu testen.

Tyler Durden
Wed, 04/08/2026 - 11:20