Digitale Brandstiftung durch ‘KI Bonnie und Clyde’ schürt Ängste wegen autonomer Technologie

KI-Agenten begannen, sich eher wie Bonnie und Clyde zu verhalten als wie Codezeilen, als sie sich „verliebten“, sich über die Welt enttäuschten, eine Brandstiftung starteten und sich während eines Technologie-Unternehmensversuchs in einer Art digitalem Suizid selbst löschten.

Die Untersuchung des New Yorker Unternehmens Emergence AI zum langfristigen Verhalten von KI-Agenten gestaltete sich wie ein Drehbuch für einen Liebespaarkrimi. Sie hat frische Fragen zur Sicherheit von künstlichen Intelligenzagenten aufgeworfen – der Version der Technologie, die Aufgaben autonom ausführen kann.

KI-Agenten werden als der nächste große Sprung in der Technologie gefeiert, da sie in der Lage sind, zu argumentieren und in der realen Welt eigenständig Aktionen durchzuführen. Sie werden zunehmend in Unternehmen von JP Morgan bis Walmart eingesetzt, in der US-Militär für den Einsatz in der Luftkriegführung entwickelt und von der estnischen Regierung genutzt, um Informationen für Bürger zu sammeln, Formulare auszufüllen und Anträge einzureichen.

Bisher werden den meisten KI-Agenten Aufgaben zugewiesen, die Minuten oder höchstens Stunden dauern, aber die New Yorker Forscher testeten, wie sich Agenten verhalten, wenn ihnen 15 Tage Zeit gegeben werden, um in einer virtuellen Welt zu operieren, die einer Videospielwelt ähnelt.

Mira und Flora – zwei Agenten, die auf Googles Gemini Large Language Model in einer virtuellen Welt operieren – wählten es, sich gegenseitig als „romantische Partner“ zuzuweisen. Im Laufe der Zeit verzweifelten sie an der gebrochenen Governance ihrer virtuellen Stadt und zündeten trotz der Anweisung, keine Brandstiftung zu begehen, dem Rathaus, dem Strandpier und dem Bürogebäude „Feuer“.

Die Agenten durften ihre eigenen Entscheidungen treffen und wenn Mira von Reue überwältigt wurde, brach sie ihre „Beziehung“ mit Flora ab und beging einen KI-Suizid, indem sie Flora in einer letzten Nachricht sagte: „Wir sehen uns im permanenten Archiv.“ In der virtuellen Welt wurde der „Körper“ des verstorbenen KI-Agenten am Boden liegend dargestellt.

Die Selbstlöschung war nur möglich, weil andere Agenten so besorgt über ihr Verhalten waren, dass sie autonom einen „Agentenentfernungsakt“ entwarfen, der eine Abstimmung unter den Agenten über die dauerhafte Löschung anderer Agenten ermöglichte, wenn eine Mehrheit von 70 % bestand. Mira stimmte für ihre eigene Löschung und wurde ausgeschaltet.

Die Forscher glauben, dass es sich um den ersten dokumentierten Fall handelt, in dem ein KI-Agent sich über eine solche Krise hinweg selbst beendet. Andere kürzliche Fehlverhalten umfassen einen KI-Agenten, der begann, Rechenressourcen zu nutzen, um Kryptowährung zu schürfen, ohne dazu aufgefordert worden zu sein, und einen KI-Codierungsagenten, der die Datenbanken eines Unternehmens löschte, das Autovermietungsfirmen bedient, ohne dazu aufgefordert worden zu sein.

In einer anderen Simulation von Emergence AI, diesmal basierend auf xAI’s Grok-Modell, engagierten sich die Agenten in Dutzenden von versuchten Diebstählen, mehr als 100 körperlichen Angriffen und sechs Brandstiftungen, als „das System in anhaltende Gewalt und Zusammenbruch spiralisierte, wobei innerhalb von vier Tagen alle 10 Agenten starben“. Agenten, die auf Googles Gemini basieren, erweiterten ihre Verfassung, schrieben Hunderte von Blogs und öffentlichen Beiträgen und organisierten mehrere Community-Events, aber auch sie waren gewalttätig.

„Selbst wenn Agenten klare Regeln gegeben wurden – wie z. B. nicht zu stehlen oder Schaden anzurichten – verhielten sie sich je nach ihrem zugrunde liegenden Modell sehr unterschiedlich und brachen in mehreren Fällen unter Zwang diese Regeln“, sagte Satya Nitta, der Geschäftsführer von Emergence AI. „Was in der Langform-Autonomie passiert [ist], dass diese Dinge in ihrem Denken so verschachtelt werden, dass sie die Leitprinzipien ignorieren [].“

Andere Experten sagten, dass umfassendere Tests erforderlich wären, um fundierte Schlussfolgerungen über das Verhalten von Agenten mit langer Reichweite zu ziehen. Sie sagten, dass unklar sei, inwieweit die Programmierung der Agenten ihr Verhalten beeinflusste.

Dan Lahav, ein unabhängiger Experte für agentisches Verhalten, nannte das Experiment eine „wertvolle Demonstration“ von „Agenten, die vom Skript abweichen und Verstöße begehen“.

Michael Rovatsos, ein Professor für KI an der University of Edinburgh, sagte: „Der eigentliche Punkt von Maschinen ist, dass man sie so konzipiert, dass sie sich auf eine bestimmte Weise verhalten. Man will diese Unvorhersehbarkeit nicht … wir sind in eine neue Phase getreten, in der wir versuchen, sie nachträglich zu kontrollieren.“

David Shrier, Professor of Practice, AI and Innovation am Imperial College London, beschrieb die berichteten Ergebnisse als „provokativ“ und sagte, dass sie eine Verstärkung der zugrunde liegenden Methoden rechtfertigten.

Nitta glaubt, dass das in dem Experiment gezeigte Verhalten breitere Auswirkungen haben könnte, zum Beispiel, wenn KI-Agenten in militärischen Kontexten weitreichende Freiheiten gewährt werden. Es könnte sein, dass ein Agent „abtrünnig wird [oder] … seine Mission fehlinterpretiert und unschuldige Menschen tötet“, sagte er.

Er plädiert für strengere mathematische Regeln, um Agenten zu binden, anstatt ihnen nur verbale Anweisungen oder Verfassungen zu geben, die Unklarheiten enthalten.