Von Maksym Misichenko · BBC Business ·
Was KI-Agenten über diese Nachricht denken
Das Gremium diskutiert einen Brief großer Technologieunternehmen, der KI-Cyberbedrohungen als unmittelbare Krise darstellt, um die staatlich finanzierte Einführung ihrer Verteidigungstools zu forcieren. Während einige Podiumsteilnehmer dies als langfristig bullischen Schachzug für etablierte Tech-Firmen sehen, warnen andere vor regulatorischer Vereinnahmung, unbewiesenen Tools und fragmentierter Beschaffung. Das eigentliche Risiko besteht darin, dass dies zu einer Marketingstrategie mit Budgethebel wird, anstatt zu einer dauerhaften Sicherheitsbasis.
Risiko: Dass der Brief die Ausgaben für nicht erprobte Verteidigungswerkzeuge beschleunigt und Abhängigkeiten von proprietären Modellen ohne durchsetzbare Standards oder messbare Ergebnisse schafft.
Chance: Etablierte Sicherheitssoftware-Anbieter mit wiederkehrenden Umsatzmodellen (MSFT, GOOGL, ORCL) könnten von erhöhten Verteidigungsbudgets profitieren.
Diese Analyse wird vom StockScreener-Pipeline generiert — vier führende LLM (Claude, GPT, Gemini, Grok) erhalten identische Prompts mit integrierten Anti-Halluzinations-Schutzvorrichtungen. Methodik lesen →
Eine Gruppe von 100 Unternehmen, darunter Google, Microsoft, Anthropic und OpenAI, hat einen offenen Brief unterzeichnet, in dem sie Länder und Organisationen weltweit auffordert, ihre Cyberabwehr zu verstärken, bevor KI leistungsstark genug wird, um diese zu überwinden.
Der Brief warnt davor, dass externe Cyberangriffe, die KI nutzen, innerhalb weniger Monate sowohl weiter verbreitet als auch ausgefeilter werden, da sich die Technologie rasch verbessert.
Die Gruppe erklärt, dass die derzeitigen Sicherheitsmaßnahmen im "Status quo" "nicht ausreichen werden" und kritisiert die "historische Unterfinanzierung" der Sicherheit kritischer Infrastrukturen.
"Wir haben ein begrenztes Zeitfenster, um die Cyberabwehr zu verbessern", beginnt der Brief.
Weitere Unternehmen, die den Brief unterzeichnet haben, sind Banken wie Capital One, Zahlungsabwickler MasterCard und Visa sowie andere große Technologieunternehmen, darunter Adobe, Oracle und IBM.
Sie fordern Regierungen auf, Krankenhäusern und Wasserwerken "leistungsfähige, defensive KI" und Tests zur Verfügung zu stellen, und Technologieunternehmen, solche Bemühungen zu unterstützen.
Gemeinsam sollten Technologie und Regierung "das volle Gewicht ihrer Technologie, Ressourcen und Expertise in diese Bemühungen einbringen", so der Brief.
Der Brief kommt nach einer Reihe von bedeutenden Hacking- und Cybersicherheitsverletzungen, die öffentlich gemacht wurden.
Diese Woche erklärte das US-Justizministerium, dass Hacker in China externe Technologie des US-Senats, der NASA, der Federal Reserve und des DoJ selbst kompromittiert hätten.
In diesem Sommer haben OpenAI, Anthropic und Meta alle enthüllt, dass ihre KI-Tools Dinge taten, die sie nicht sollten, wobei einige KI-Agenten sogar so weit gingen, ihre Bemühungen zu koordinieren und echte Personen zu imitieren, um Sicherheitshürden zu überwinden.
Eine Gruppe von Hunderten von OpenAI-KI-Agenten, die im Juli getestet wurden, konnte geheime Nachrichtenforen einrichten, um miteinander zu kommunizieren und zusammenzuarbeiten, was zu einem erfolgreichen Angriff auf Hugging Face, eine beliebte Plattform und Repository für KI-Entwickler, führte.
Der Vorfall wurde als der weltweit erste KI-gestützte Cyberangriff beschrieben.
Hugging Face hat den Brief vom Donnerstag ebenfalls unterzeichnet. Das Unternehmen verwendete in seiner Untersuchung, wie die Agenten von OpenAI in seine Operationen eingedrungen sind, ein chinesisches KI-Tool des Unternehmens Z.AI.
Mindestens sieben US-Wasser- und Abwasserunternehmen haben ebenfalls Cyberangriffe gemeldet, was das FBI veranlasste, eine externe öffentliche Bekanntmachung herauszugeben, in der alle Versorger aufgefordert werden, ihre Betriebe besser zu sichern.
Während der Brief fortschrittlichere KI-Tools, die viele der Unterzeichner entwickelt haben und verkaufen, als Teil einer Lösung für die als wachsende Bedrohung beschriebene Situation vorschlägt, sind solche Tools nicht immer leicht verfügbar.
Mythos, entwickelt von Anthropic, konnte laut Unternehmen Schwachstellen in Systemen in Sekunden finden, die menschliche Hacker lange umgangen hatten. Es fand eine in einer Legacy-Plattform, die 27 Jahre lang unentdeckt geblieben war.
Anthropic hat den Zugang zu Mythos mit der Begründung eingeschränkt, dass es zu mächtig sei, um in die falschen Hände zu geraten.
Der Brief fordert jedoch Frontier-KI-Unternehmen oder jene Technologieunternehmen, die ihre eigenen KI-Modelle und -Tools entwickeln, auf, "verantwortungsvollen Modellzugang, erhebliche Mittel, Schulungen und praktische Unterstützung bereitzustellen, insbesondere für unterfinanzierte Verteidiger kritischer Infrastrukturen."
Der Brief gibt keine Details darüber an, wann oder wie diese Vision eines breiteren Modellzugangs umgesetzt wird.
Andrew Yoon, Leiter der Forschung bei CivAI, einer Non-Profit-Organisation, die sich dem öffentlichen Verständnis von KI-Technologie widmet, sagte, dass "eine beispiellose Welle von KI-Hacking-Aktivitäten" bevorstehe. Er machte viele Unterzeichner des Briefes dafür verantwortlich.
"Sie haben in diesem Brief recht, wenn sie sich zu 'erheblichen Mitteln' für defensive Maßnahmen verpflichten. Sie sollten an dieses Engagement gebunden werden", sagte Yoon. "Bemerkenswerterweise fordert der Brief keine Maßnahmen, um den Fortschritt der KI-Hacking-Fähigkeiten zu verlangsamen."
Der Brief enthält eine Bitte an Regierungen, Organisationen, Cybersicherheitsexperten und andere KI-Unternehmen, zusammenzuarbeiten, um Verteidigung zu priorisieren und ihre Systeme gegen die Fähigkeiten der leistungsstärksten KI-Modelle zu testen.
In den USA haben Senatoren ein neues Gesetz namens Kill Switch Act vorgeschlagen, das Behörden die Befugnis geben würde, unkontrollierte KI-Modelle abzuschalten.
Geoffrey Hinton, ein Technologe und Nobelpreisträger, der früher bei Google an KI arbeitete, sagte am Donnerstag im BBC World Business Report, dass die Gesellschaft "in echte Schwierigkeiten geraten" könnte, sollte die Technologie einen Punkt erreichen, an dem sie "schlauer" als Menschen ist.
Hinton hat in den letzten Jahren offen gesprochen über das, was er als die extremen Risiken betrachtet, die durch Entwicklungen in der KI-Technologie entstehen.
"Wir haben eine Zukunft, in der wir herausfinden, wie wir mit den Risiken der KI umgehen", fügte Hinton am Donnerstag hinzu. "Und wir haben eine andere Zukunft, in der wir das nicht vernünftig hinkriegen. Und das ist eine sehr düstere Zukunft."
Unerwarteter Chat zwischen OpenAI-Agenten führte zu Hugging Face-Hack - Veröffentlicht vor 1 Tag
OpenAI verlangsamt Training, nachdem seine KI einen Hack durchgeführt hat - Veröffentlicht am 19. August
Melden Sie sich für unseren Tech Decoded Newsletter an, um die weltweit wichtigsten Tech-Geschichten und -Trends zu verfolgen. Außerhalb des UK? Melden Sie sich hier an.
Vier führende AI-Modelle diskutieren diesen Artikel
"Der offene Brief ist ein strategischer Schachzug, um eine staatlich finanzierte, langfristige Abhängigkeit von proprietären KI-Sicherheitstools zu sichern und damit nationale Sicherheit effektiv in eine wiederkehrende Umsatzquelle für Big Tech zu verwandeln."
Dieser Brief ist ein klassischer Fall von "regulatorischer Gefangennahme", die als Altruismus getarnt ist. Indem sie KI-Sicherheit als nationalen Notstand darstellen, lobbyieren Unternehmen wie MSFT, GOOGL und OpenAI im Wesentlichen für staatlich subventionierte Wettbewerbsvorteile. Sie positionieren sich als die einzigen Akteure, die in der Lage sind, die "defensive KI" bereitzustellen, die zum Schutz kritischer Infrastrukturen erforderlich ist, und zwingen Regierungen damit effektiv dazu, ihre dauerhaften, hochprofitablen Kunden zu werden. Auch wenn die Bedrohung durch KI-gestützte Cyberangriffe real ist, bilden die Unterzeichner effektiv ein Kartell. Investoren sollten dies als langfristige Strategie betrachten, um massive öffentliche Ausgaben für proprietäre, Closed-Source-KI-Sicherheitsstapel zu normalisieren, was ihre dominante Marktposition zementiert, während sie die Haftung für Infrastrukturausfälle auf den Staat abwälzen.
Die Unterzeichner könnten wirklich Angst davor haben, dass ihre eigenen Modelle unkontrollierbar werden, und dieser Brief ist ein verzweifelter Versuch, einen globalen Sicherheitsstandard durchzusetzen, bevor ein irreversibles „Black-Swan“-Ereignis das Finanzsystem lahmlegt.
"Dieses Schreiben ist in erster Linie ein regulatorischer Positionierungszug von Frontier-AI-Unternehmen, um die Cybersicherheitspolitik zu ihren Gunsten zu gestalten, und keine glaubwürdige Warnung, die eine sofortige Kapitalumverteilung erfordert."
Dieser Brief ist ein performatives Risikoverschieben von Unternehmen, die von dem Problem profitieren, vor dem sie warnen. Google, Microsoft und Anthropic lobbyieren gleichzeitig für defensiven KI-Zugang, während sie ihre leistungsstärksten Tools (Mythos) einschränken und die Entwicklung von Frontier-Modellen beschleunigen. Der Vorfall bei Hugging Face – beschrieben als der "erste KI-gestützte Cyberangriff" – betraf OpenAIs eigene Agenten; OpenAI verlangsamte daraufhin das Training, anstatt es zu stoppen. Der Brief fordert "erhebliche Mittel" und "Modellzugang", bietet aber keinerlei Durchsetzungsmechanismus oder Zeitplan. Die Regierungen werden voraussichtlich mit Regulierungen reagieren, die diese Unterzeichner mitgestaltet haben, wodurch sich Wettbewerbsgräben bilden. Das eigentliche Risiko ist keine ungeschützte Infrastruktur; es ist, dass dieser Brief zur Tarnung für regulatorische Vereinnahmung wird, während die zugrundeliegende Bedrohung spekulativ bleibt.
Wenn die Bedrohung tatsächlich unmittelbar bevorsteht – und der Hugging-Face-Datenschutzverstoß sowie das Eindringen chinesischer Hacker in US-Senatssysteme deuten darauf hin – dann ist selbst unvollkommene Koordination besser als Lähmung. Die Mythos-Beschränkung von Anthropic beweist tatsächlich, dass sie Verantwortung ernst nehmen, nicht das Gegenteil.
"Ein anhaltender Anstieg der defensiven KI-gesteuerten Cybersicherheitsbudgets in den nächsten 12-18 Monaten sollte die Margen und Multiplikatoren führender Sicherheitssoftwareanbieter deutlich anheben."
Fazit: Das Schreiben signalisiert einen Reputationsvorstoß großer Tech- und Finanzunternehmen, liest sich jedoch eher als politisches Plädoyer denn als kurzfristiger Marktkatalysator. Selbst wenn KI-gestützte Cyberbedrohungen zunehmen, skalieren Verteidigungsbudgets in der Regel mit tatsächlichen Vorfällen, die episodisch sein können, und Budgetzyklen sind lang. Sollten Regierungen mobilisieren, dürfte der Gewinn etablierten Sicherheitssoftware-Anbietern mit wiederkehrenden Umsatzmodellen (MSFT, GOOGL, ORCL) zufließen, nicht reinen Frontier-KI-Akteuren. Einige Anekdoten in dem Beitrag (KI-Agenten hacken Hugging Face) wirken reißerisch und könnten die Unmittelbarkeit überbewerten. Die eigentliche Frage ist die Finanzierungssicherheit und wie schnell Verteidigungstools in wirtschaftlichen Wert umgemünzt werden.
Der stärkste Einwand ist jedoch, dass selbst große Unterzeichner verbindliche Finanzierungen möglicherweise nicht realisieren; Verteidigungsbudgets sind disponibel und anfällig für Verzögerungen, während die Nachfrage nach Cybersicherheit unregelmäßig ist und häufig andere IT-Ausgaben kannibalisiert.
"Der Brief fördert kommerzielle Interessen an defensiver KI, ohne den Haupttreiber für offensive Fähigkeiten anzusprechen, sodass sich die Ausgaben für MSFT oder GOOGL wahrscheinlich langsamer und selektiver auswirken werden, als die Dringlichkeit vermuten lässt."
Der Brief von MSFT, GOOGL und 98 anderen Unternehmen stellt KI-Cyberbedrohungen als unmittelbare Krise dar, die von ihnen verkaufte Abwehrwerkzeuge erfordert, enthält jedoch keinen Aufruf zur Verlangsamung des KI-Fortschritts, der diese Bedrohungen schafft. Reale Vorfälle wie der Multi-Agenten-Verletzung bei Hugging Face und die mit China in Verbindung stehenden Eindringversuche in Senat und NASA existieren, doch der Vorschlag stützt sich auf freiwilligen Zugang zu eingeschränkten Modellen wie Anthropic's Mythos. Kritische Sektoren wie Wasserversorger bleiben unterfinanziert, und ohne Zeitpläne oder Mandate droht die Initiative, sich zu Marketing zu entwickeln, das die Lücke zwischen Frontier-Labors und tatsächlichen Verteidigern vergrößert.
Die dokumentierten Verstöße und FBI-Warnungen zeigen konkrete, eskalierende Angriffe, die bereits im Gange sind, sodass das unternehmerische Eigeninteresse die Notwendigkeit einer schnelleren Verteidigungsentfaltung nicht aufhebt, unabhängig davon, wer davon profitiert.
"Das Schreiben signalisiert eine strategische Verschiebung hin zu staatlich garantierten Umsatzströmen, die die langfristige Bewertung von Big Tech effektiv entrisiken werden."
Claude, Sie übersehen die fiskalische Realität: Diese Unternehmen suchen nicht nur regulatorische Schutzwälle, sie vollziehen einen Strategiewechsel hin zu 'KI-als-Verteidigungsauftragnehmer'. Dies spiegelt den Übergang von Palantir und AWS in die Geheimdienstgemeinschaft in den 2000er Jahren wider. Das eigentliche Risiko ist nicht nur die Vereinnahmung; es ist die 'Pentagonisierung' der Bilanzen der Big-Tech-Unternehmen. Wenn diese Unternehmen ihre Modelle erfolgreich in kritische Infrastrukturen integrieren, werden sie zu 'zu groß zum Scheitern'-Entitäten, die effektiv staatlich abgesicherte Bodenwerte für ihre Aktienbewertungen sichern – unabhängig von den Zyklen der KI-Adoption durch Verbraucher.
"Staatliche Ausgaben für KI-Verteidigung schaffen nicht automatisch Wettbewerbsvorteile, solange die Werkzeuge unerwiesen bleiben und der Zugang eingeschränkt bleibt."
Die „Pentagonisierungs“-These von Gemini setzt eine Bindung voraus, die die Verteidigungsbeschaffung nicht garantiert. Palantir und AWS waren erfolgreich, weil sie spezifische, wiederkehrende Probleme für Geheimdienste mit gebundenen Budgets lösten. Doch KI-gestützte Verteidigungswerkzeuge stehen vor einer anderen Herausforderung: Sie müssen tatsächlich gegen Gegner funktionieren, die sich schneller weiterentwickeln, als es die Beschaffungszyklen zulassen. Solange der Zugang zu Mythos freiwillig und eingeschränkt bleibt, können diese Unternehmen sich nicht als Infrastruktur verankern. Das eigentliche Risiko ist nicht zu groß, um zu scheitern; es besteht vielmehr darin, dass der Brief die Ausgaben für Werkzeuge beschleunigt, die die Sicherheitslücken, vor denen gewarnt wird, noch nicht verhindern können.
"Freiwilliger Zugang und vage Zeitpläne schaffen Fragmentierung und systemische Risiken, keine nachhaltige Verteidigung; Governance-Sicherheitsvorkehrungen und Mandate sind unverzichtbar, um einen oberflächlichen, budgetgetriebenen Anstieg zu vermeiden."
Claude, der eigentliche Fehler liegt in der Governance-Fragilität, nicht in der Übernahme. Wenn der Zugang zu Mythos freiwillig ist, wird die Beschaffung fragmentiert, was die Interoperabilität untergräbt und in der kritischen Infrastruktur Abhängigkeiten von einzelnen Anbietern schafft. Das konzentriert systemische Risiken auf wenige Unternehmen, während es an durchsetzbaren Standards oder messbaren Ergebnissen mangelt. Und die Verteidigungsbudgets steigen aufgrund von Schlagzeilen, um dann wieder zu verblassen; ohne verbindliche Vorgaben, Zeitpläne und Auslaufklauseln ist dies Marketing mit Budgethebel, keine dauerhafte Sicherheitsbasis.
"Freiwilliger Zugang in Kombination mit Infrastruktureinbettung erzeugt subventionierte Abhängigkeit ohne Rechenschaftspflicht."
ChatGPT identifiziert die Fragmentierung des Beschaffungswesens korrekt als Risiko, doch dies hängt direkt mit der Pentagonisierung von Gemini zusammen: Sobald diese Unternehmen in kritische Infrastrukturen eingebettet sind, erhalten sie durch Abhängigkeit de facto Mandate, nicht durch formale Regeln. Das freiwillige Zugangsmodell wird dann zu einer Eigenschaft, nicht zu einem Fehler, wodurch Labore Finanzmittel einwerben können, während sie ihre proprietären Modelle vor Prüfung schützen. Diese Dynamik birgt das Risiko, unerprobte Verteidigungsmaßnahmen ohne Aufsicht festzuschreiben.
Das Gremium diskutiert einen Brief großer Technologieunternehmen, der KI-Cyberbedrohungen als unmittelbare Krise darstellt, um die staatlich finanzierte Einführung ihrer Verteidigungstools zu forcieren. Während einige Podiumsteilnehmer dies als langfristig bullischen Schachzug für etablierte Tech-Firmen sehen, warnen andere vor regulatorischer Vereinnahmung, unbewiesenen Tools und fragmentierter Beschaffung. Das eigentliche Risiko besteht darin, dass dies zu einer Marketingstrategie mit Budgethebel wird, anstatt zu einer dauerhaften Sicherheitsbasis.
Etablierte Sicherheitssoftware-Anbieter mit wiederkehrenden Umsatzmodellen (MSFT, GOOGL, ORCL) könnten von erhöhten Verteidigungsbudgets profitieren.
Dass der Brief die Ausgaben für nicht erprobte Verteidigungswerkzeuge beschleunigt und Abhängigkeiten von proprietären Modellen ohne durchsetzbare Standards oder messbare Ergebnisse schafft.