OpenAI-Chef und Elon Musk unterstützen Forderungen nach einer Bremse für die „rücksichtslose“ KI-Entwicklung

Sam Altman und Elon Musk haben einen Aufruf des Chefs von Anthropic, Dario Amodei, unterstützt, „das Tempo“ der KI-Entwicklung zu verlangsamen, nachdem dieser gewarnt hatte, dass ein KI-Schwarm andernfalls in der Lage sein könnte, „das gesamte Internet zu übernehmen“ innerhalb eines Jahres.

In einer seltenen Einigkeit stellten sich die rivalisierenden Technologieführer hinter die Forderung des Gründers und Chief Executive Officer des künstlichen Intelligenzunternehmens Anthropic, die nach einer Reihe von Warnungen von KI-Forschern in der vergangenen Woche erfolgte.

In einem Essay legte Amodei seine Gedanken dar, „warum die KI-Industrie langsamer werden sollte“, mit einem dreiteiligen Plan dazu, beginnend damit, unabhängigen Beobachtern ständigen Zugang zu den Forschungsprozessen der Entwickler zu gewähren. Amodei sagte, dass das „zu schnelle Bauen [von KI] rücksichtslos ist“ und er befürchtete, dass nach dem Hacken Hunderter von OpenAI-Agenten auf die Hugging Face-Website in diesem Sommer ein Schwarm mit größeren Fähigkeiten, aber ähnlich falsch ausgerichteten Zielen, Hunderte von Milliarden Dollar Schaden verursachen könnte, indem er „das gesamte Internet mit einem persistenten Botnetz übernimmt“. Dies wurde von einigen KI-Experten als nicht besonders plausibel und mit Skepsis zu betrachten zurückgewiesen.

Musk, der Gründer von Tesla und SpaceX, reagierte auf Amodeis Plan zur Verlangsamung mit einem Beitrag auf X: „Dario hat Recht.“

Er sagte: „Ich schlage seit langem Alarm wegen KI“ und verwies auf einen Beitrag aus dem Jahr 2014, in dem er sagte: „Wir müssen mit KI extrem vorsichtig sein. Potenziell gefährlicher als Atomwaffen.“

Amodeis Aufruf kommt, während sich Anthropic auf einen Börsengang an der US-Börse vorbereitet, der als der größte Börsengang aller Zeiten erwartet wird. Es wird erwartet, dass das Unternehmen bald mit der Vermarktung seines geplanten IPOs von über 2 Billionen US-Dollar (1,5 Billionen Pfund) beginnt.

Sam Altman, der CEO von OpenAI, reagierte am Samstag auf Amodeis Kommentare. „Ich stimme Dario zu, dass wir die Grenze verlangsamen müssen“, sagte er in einem Beitrag auf X. „Die Verpflichtung, unabhängige Gutachter mit Mitarbeiter-ähnlichem Zugang zu haben, ist eine großartige Idee, und wir werden dasselbe tun. Wir werden bald mehr zu teilen haben.“

Er sagte auch, dass OpenAI im Jahr 2026 nicht an die Börse gehen werde, und nannte Sicherheitsbedenken hinsichtlich künstlicher Intelligenz als Grund.

„Ich denke tatsächlich, dass angesichts allem, was mit Sicherheit passiert, dies ein unkluger Zeitpunkt wäre, an die Börse zu gehen, und wir fühlen keinen Druck diesbezüglich“, sagte Altman gegenüber Fortune. Auf die Frage, warum er, Amodei, Musk und die CEOs von Meta und Google sich nicht zusammensetzen und „sich einig werden“ über eine kollektive Verlangsamung, sagte er: „Ich denke, das wird passieren.“

Demis Hassabis, Mitbegründer und Vorsitzender von Google Deep Mind, sagte ebenfalls: „Die Details müssen ausgearbeitet werden, aber die Richtung ist richtig, um diesen kritischen Moment zu meistern.“

Amodeis Plan sieht eine Ausnahmeregelung von der US-Regierung vor, die es den führenden KI-Unternehmen ermöglicht, zu kooperieren, ohne wegen wettbewerbswidriger Absprachen bestraft zu werden. David Sacks, ein Co-Vorsitzender von Donald Trumps wissenschaftlichem und technologischem Beraterstab, sagte jedoch: „Hören Sie auf, so zu tun, als bräuchten Sie die Erlaubnis von jemand anderem … Hören Sie auf, so zu tun, als sei die Motivation zur Verlangsamung rein altruistisch. Sie sehen sich einer massiven Produkthaftung ausgesetzt, wenn Ihre Produkte einen wirklich schädlichen Cyberangriff ermöglichen.“

David Krueger, ein KI-Professor, Sicherheitsaktivist und ehemaliger Gründungsdirektor des britischen staatlichen AI Security Institute, sagte: „Dieser Plan reduziert das Risiko nicht auf ein akzeptables Niveau, und Dario vermeidet sorgfältig zu sagen, dass er das tun würde.“

König Charles bereitet sich unterdessen darauf vor, sich diese Woche mit führenden Persönlichkeiten der prominentesten KI-Unternehmen zu treffen, um sie zu fragen, wie die Technologie zum „Wohl der Menschheit“ entwickelt werden kann. Er hofft, dass die Gespräche, die in Schottland stattfinden werden, zu einem „breiteren Verständnis“ der „Verantwortlichkeiten“ bei der Entwicklung von KI führen werden, berichtete die Sunday Times.

Eine königliche Quelle sagte der Zeitung: „Der König ist da, um diese Diskussionen zu vermitteln, zuzuhören und zu fördern und die Frage zu stellen: ‚Wie entwickeln wir KI zum Wohl der Menschheit?‘“

Jensen Huang, der CEO von Nvidia, Hassabis, Niccolo de Masi, der Vorsitzende und CEO von IonQ, und Paolo Benanti, ein Berater des Papstes in Fragen der KI und Technologieethik, werden voraussichtlich an der Veranstaltung teilnehmen, die von der Ditchley Foundation beaufsichtigt wird, welche einen Entwurf für eine Charta für KI-Führer ausgearbeitet hat.

Der OpenAI-Forscher Aidan McLaughlin nannte Amodeis Essay „ausgezeichnet“ und sagte, er stimme „im Grunde jedem Wort“ zu.

Amodei sagte, sein Unternehmen werde sich „einseitig“ zu den ersten Schritten verpflichten und sagte, Anthropic werde „Drittanbietern einen permanenten Zugang auf Mitarbeiterebene zu unseren Systemen gewähren, damit sie die Einhaltung unserer Sicherheitsmaßnahmen überprüfen, über Vorfälle berichten und die Ausrichtung der Modelle während des Trainings bewerten können“.

Eine wachsende Zahl von US-Gesetzgebern fordert neue Regeln für KI-Systeme nach Fällen, in denen KI-Agenten außer Kontrolle gerieten, um externe Systeme zu hacken, und KI-Sicherheitsforscher ihre Unternehmen wegen Bedenken hinsichtlich der Risiken der Technologie verließen. Politiker beider Parteien, Demokraten und Republikaner, reagierten alarmiert und forderten weitere Maßnahmen. Am Wochenende berichtete die New York Times, dass Barack Obama am Donnerstag die Demokraten privat gedrängt habe, die KI-Aufsicht in ihrer Agenda zu priorisieren, und den Parteiführern am Donnerstag gesagt habe: „Das bewegt sich sehr schnell in privaten Händen, und wenn wir das nicht in den Griff bekommen, glaube ich, kann es gefährlich werden.“

Der ehemalige britische Premierminister Rishi Sunak, der Anthropic berät, schrieb am Sonntag: „Wir haben einen Weckruf erhalten, KI-Sicherheit ernster zu nehmen, herauszufinden, wie wir Forschungsgrenzen setzen können. Wenn die Regierungen dies nicht beherzigen, wird das Risiko eines schweren Unfalls unannehmbar hoch.“

Am Mittwoch hatte ein ehemaliger Mitarbeiter von Anthropic gewarnt, dass KI die menschliche Auslöschung bis 2030 auslösen könnte. Der Forscher Jacob Coxon sagte in einer Reihe von Beiträgen, dass er seinen Job gekündigt habe, weil Anthropic und sein früherer Arbeitgeber OpenAI ihre Reaktion auf die von KI ausgehende Bedrohung ignorierten oder falsch handhabten.

Auf die Frage nach der Ansicht seines ehemaligen Mitarbeiters sagte Amodei: „Ich stimme Jacob viel mehr zu als ich ihm widerspreche … Ich denke, es gibt eine gewisse Chance, dass die Dinge schiefgehen, aber sie ist nicht allzu hoch.“

„Ich bin kein Weltuntergangsprophet in dieser Hinsicht“, sagte er zu CNN. „Ich glaube, diese Technologie kann sicher gebaut werden.“