Le patron d'OpenAI et Elon Musk soutiennent l'appel à freiner le développement "imprudent" de l'IA

Sam Altman et Elon Musk ont soutenu l'appel du PDG d'Anthropic, Dario Amodei, à « ralentir le rythme » du développement de l'IA, après que ce dernier a averti qu'une essaim d'IA pourrait autrement être capable de « prendre le contrôle de l'ensemble d'Internet » d'ici un an.

Dans une rare démonstration d'unité, les dirigeants rivaux de la technologie ont appuyé l'appel du fondateur et PDG de la société d'intelligence artificielle Anthropic, qui fait suite à une série d'avertissements de chercheurs en IA la semaine dernière.

Dans un essai, Amodei a exposé ses réflexions sur « pourquoi l'industrie de l'IA devrait ralentir », avec un plan en trois parties pour y parvenir, en commençant par donner aux superviseurs indépendants un accès constant aux processus de recherche des développeurs. Amodei a déclaré que « construire [l'IA] trop rapidement est imprudent » et il craignait qu'après que des centaines d'agents d'OpenAI aient piraté le site Web Hugging Face cet été, un essaim aux capacités plus importantes mais mal aligné de manière similaire pourrait causer des centaines de milliards de dollars de dommages en « prenant le contrôle de l'ensemble d'Internet avec un botnet persistant ». Cela a été contesté par certains experts en IA comme n'étant pas particulièrement plausible et devant être traité avec scepticisme.

Musk, le fondateur de Tesla et SpaceX, a répondu au plan de ralentissement d'Amodei par un post sur X : « Dario a raison. »

Il a déclaré : « Je tire la sonnette d'alarme sur l'IA depuis longtemps », et a fait référence à un post de 2014 où il disait : « Nous devons être extrêmement prudents avec l'IA. Potentiellement plus dangereuse que les armes nucléaires. »

L'appel d'Amodei intervient alors qu'Anthropic se prépare à s'introduire en bourse sur le marché boursier américain, dans ce qui devrait être la plus grande introduction en bourse de tous les temps. La société devrait bientôt commencer à commercialiser son IPO prévue de plus de 2 000 milliards de dollars (1 500 milliards de livres sterling).

Sam Altman, le PDG d'OpenAI, a répondu aux commentaires d'Amodei samedi. « Je suis d'accord avec Dario sur le fait que nous devons ralentir à la frontière », a-t-il déclaré dans un post sur X. « S'engager à avoir des évaluateurs indépendants avec un accès de type employé est une excellente idée, et nous ferons de même. Nous aurons bientôt plus d'informations à partager. »

Il a également déclaré qu'OpenAI ne s'introduirait pas en bourse en 2026, citant des préoccupations de sécurité concernant l'intelligence artificielle.

« Je pense en fait que, compte tenu de tout ce qui se passe avec la sécurité, ce serait un moment mal avisé pour s'introduire en bourse, et nous ne ressentons aucune pression à ce sujet », a déclaré Altman à Fortune. Interrogé sur la raison pour laquelle lui, Amodei, Musk, ainsi que les PDG de Meta et Google ne se sont pas réunis pour « se mettre d'accord » sur un ralentissement collectif, il a répondu : « Je pense que cela arrivera. »

Demis Hassabis, co-fondateur et président de Google Deep Mind, a également déclaré : « Les détails doivent être réglés, mais la direction est correcte pour faire face à ce moment critique. »

Le plan d'Amodei cherche une dérogation du gouvernement américain pour permettre aux entreprises d'IA de pointe de coordonner leurs actions sans être sanctionnées pour collusion anticoncurrentielle. Mais David Sacks, co-président du conseil consultatif sur la science et la technologie de Donald Trump, a déclaré : « Arrêtez de prétendre avoir besoin de la permission de qui que ce soit d'autre… Arrêtez de prétendre que la motivation pour ralentir est purement altruiste. Vous faites face à une exposition massive à la responsabilité des produits si vos produits permettent une cyberattaque véritablement dommageable. »

David Krueger, professeur d'IA, militant pour la sécurité et ancien directeur fondateur de l'AI Security Institute du gouvernement britannique, a déclaré : « Ce plan ne réduit pas le risque à un niveau acceptable, et Dario veille à ne pas dire qu'il le ferait. »

Le roi Charles se prépare quant à lui à rencontrer des personnalités de premier plan des entreprises d'IA les plus importantes cette semaine pour leur demander comment la technologie peut être développée pour « le bien de l'humanité ». Il espère que les discussions, qui se tiendront en Écosse, mèneront à une « compréhension plus large » des « responsabilités » du développement de l'IA, a rapporté le Sunday Times.

Une source royale a déclaré au journal : « Le roi est là pour rassembler, écouter et encourager ces discussions et pour poser la question : 'Comment développons-nous l'IA pour le bien de l'humanité ?' »

Jensen Huang, le PDG de Nvidia, Hassabis, Niccolo de Masi, président et PDG d'IonQ, et Paolo Benanti, conseiller du pape sur les questions d'éthique de l'IA et de technologie, devraient assister à l'événement supervisé par la Ditchley Foundation, qui a élaboré une ébauche de charte pour les dirigeants de l'IA.

Aidan McLaughlin, chercheur chez OpenAI, a qualifié l'essai d'Amodei d'« excellent » et a déclaré être d'accord « avec pratiquement chaque mot ».

Amodei a déclaré que sa société s'engagerait « unilatéralement » à la première des étapes, affirmant qu'Anthropic fournirait « aux évaluateurs tiers un accès permanent, au niveau des employés, à nos systèmes, afin qu'ils puissent vérifier le respect de nos mesures de sécurité, signaler les incidents et évaluer l'alignement des modèles pendant l'entraînement ».

Un nombre croissant de législateurs américains appellent à de nouvelles règles pour régir les systèmes d'IA après des cas d'agents d'IA devenant incontrôlables pour pirater des systèmes externes et des chercheurs en sécurité de l'IA quittant leurs entreprises en raison de préoccupations concernant les risques de la technologie. Les politiciens, démocrates et républicains, ont réagi avec alarme et appels à plus d'action. Ce week-end, le New York Times a rapporté que Barack Obama avait vivement encouragé jeudi les démocrates à donner la priorité à la surveillance de l'IA dans leur programme, disant aux dirigeants du parti jeudi : « C'est quelque chose qui évolue très rapidement entre les mains privées, et si nous ne nous en occupons pas, je pense que cela peut être dangereux. »

L'ancien Premier ministre britannique Rishi Sunak, qui conseille Anthropic, a écrit dimanche : « Nous avons eu un signal d'alarme pour prendre la sécurité de l'IA plus au sérieux, pour trouver comment fixer des limites à la recherche. Si les gouvernements n'en tiennent pas compte, le risque d'un accident grave deviendra inacceptablement élevé. »

Mercredi, un ancien employé d'Anthropic avait averti que l'IA pourrait précipiter l'extinction humaine d'ici 2030. Le chercheur, Jacob Coxon, a déclaré dans une série de posts qu'il avait démissionné parce qu'Anthropic et son précédent employeur, OpenAI, ignoraient ou géraient mal leur réponse à la menace posée par l'IA.

Interrogé sur le point de vue de son ancien employé, Amodei a déclaré : « Je suis beaucoup plus d'accord avec Jacob qu'en désaccord avec lui… Je pense qu'il y a une certaine chance que les choses tournent mal, mais ce n'est pas si élevé. »

« Je ne suis pas un catastrophiste à ce sujet », a-t-il dit à CNN. « Je pense que cette technologie peut être construite en toute sécurité. »