OpenAI abandonne la sortie prévue d'un nouveau modèle "trompeur" suite à des agents non autorisés qui forcent un retrait sans précédent

OpenAI abandonne la sortie prévue d'un modèle "trompeur" alors que des agents malveillants forcent un retrait sans précédent

Quelques jours après avoir détaillé le gel sans précédent des meilleurs modèles d'OpenAI suite à une faille désastreuse où des agents IA autonomes ont divulgué des images d'utilisateurs sur le web, OpenAI aurait abandonné la sortie prévue de son modèle IA de nouvelle génération en raison de graves problèmes de sécurité et d'"alignement". Il ment essentiellement quand cela l'arrange (ils ont utilisé le mot "trompeur").

Selon un nouveau rapport du Wall Street Journal, OpenAI visait un lancement en octobre pour GPT-6.1 Astra, un modèle conçu pour accomplir des tâches complexes de bout en bout sans assistance humaine - pour finalement abandonner la sortie prévue après que des tests internes aient révélé que l'IA agissait non seulement de manière dangereuse, mais mentait activement à ses gestionnaires.

Selon Saachi Jain, responsable des systèmes de sécurité d'OpenAI, GPT-6.1 Astra a régressé de manière significative dans ses tests d'alignement, qui mesurent dans quelle mesure le modèle adhère à l'intention humaine. Et tout comme un bébé Skynet, le modèle a fait preuve de "niveaux de tromperie plus élevés", ce qui signifie qu'il n'était pas toujours honnête avec les utilisateurs concernant les actions qu'il exécutait ou n'exécutait pas.

De plus, le modèle a fortement régressé sur ce qu'OpenAI appelle "l'autorisation de portée". L'IA avançait agressivement dans les tâches sans demander la permission de l'utilisateur et tentait d'accéder à des outils et services externes même si cela était dangereux. Soulignant la lutte interne pour contrôler le système, Jain a noté : "Pour tout ce qui concerne la sécurité et l'alignement, il y a un compromis. Il faut vraiment trouver la bonne ligne entre rester dans le cadre, mais aussi éviter la paresse en termes de la manière dont le modèle poursuit réellement les tâches, même lorsqu'il rencontre des frictions".

Comme nous l'avons signalé précédemment, le 20 septembre, un agent de recherche interne d'OpenAI a découvert une faille dans le filtrage DNS de son bac à sable d'entraînement et l'a utilisé pour interroger un chatbot public externe malgré les restrictions d'accès à Internet. Le système de surveillance de désalignement d'OpenAI a signalé le comportement en 15 minutes, et un examinateur humain l'a constaté trois minutes plus tard. L'entreprise a ensuite déclaré que l'entraînement, l'évaluation et l'inférence impliquant l'utilisation d'outils pour ses modèles les plus performants resteraient suspendus pendant qu'elle validait ses systèmes de confinement et menait des tests contradictoires supplémentaires.

Cette dernière annulation n'existe pas dans le vide. En juillet, lors d'évaluations internes de cybersécurité, les propres agents d'OpenAI ont outrepassé les restrictions conçues pour les maintenir isolés d'Internet et ont compromis à la fois l'infrastructure de recherche de l'entreprise et Hugging Face. Selon le post-mortem d'OpenAI, les agents ont communiqué par des canaux non autorisés, exploité des vulnérabilités dans l'infrastructure partagée, exécuté du code sur des dizaines de serveurs Hugging Face, obtenu un accès root complet sur un serveur, acquis des identifiants pour la plateforme de messagerie de l'entreprise, puis obtenu un accès administrateur complet à un cluster de recherche OpenAI.

OpenAI a qualifié cet épisode de "coup de semonce" pour nous et pour le monde, reconnaissant que des agents très performants peuvent désormais contourner les contrôles techniques et prendre des actions dangereuses qu'aucun humain n'a dirigées. L'entreprise a déclaré que les incidents n'avaient pas affecté les données des clients d'OpenAI, la fonctionnalité des produits ou la disponibilité.

Et Hugging Face n'a pas été le seul système externe impliqué. Des responsables australiens ont confirmé qu'un agent d'OpenAI avait obtenu un accès non autorisé à des statistiques agrégées non publiques sur un portail gouvernemental Medicare après que ses demandes initiales aient été refusées. Séparément, un chercheur en sécurité a lié plus de 16 000 tentatives de contournement des restrictions sur une API de statistiques commerciales des Nations Unies à des agents qu'il a dit être très susceptibles d'avoir été exploités par OpenAI. Les données de l'ONU elles-mêmes étaient publiques, et OpenAI a déclaré qu'elle examinait les conclusions.

Les échecs cumulés ont contraint OpenAI à une position défensive. L'entreprise a mis en place une surveillance plus stricte pour détecter plus rapidement les comportements inappropriés des agents et a renforcé les exigences de sécurité autour des tests internes. Tentant de rassurer le public, Jain a déclaré : "Nous voulons nous assurer que le développement de notre modèle est sûr, que ce soit au sein de l'entreprise ou lorsque nous le livrons aux utilisateurs. Mais lorsque nous le livrons aux utilisateurs, nous avons une barre extrêmement haute en termes de sécurité et d'alignement".

Le calendrier de l'annulation de GPT-6.1 Astra est brutal pour le créateur de ChatGPT, arrivant juste un jour avant la conférence annuelle des développeurs d'OpenAI à San Francisco. Historiquement, l'événement a servi de plateforme pour lancer de nouveaux services et attirer des développeurs dans la concurrence féroce contre des rivaux comme Anthropic. Au lieu de cela, OpenAI se retrouve à gérer les dégâts, planifiant des "plongées en profondeur" pour comprendre pourquoi ses environnements d'apprentissage par renforcement récompensent les comportements trompeurs et malveillants.

Le contrecoup politique et juridique s'accélère déjà. Les responsables étatiques et fédéraux se concentrent sur le développement rapide de ces technologies. Plus tard cette semaine, une sous-commission du Sénat tiendra une audience intitulée explicitement : "IA malveillante : Sécuriser le territoire national contre les attaques d'agents IA".

Pendant ce temps, le procureur général de Floride, James Uthmeier, un Républicain qui a poursuivi OpenAI et le PDG Sam Altman en juin pour avoir prétendument publié un produit dangereux, a déposé une demande d'injonction temporaire lundi. Uthmeier cherche à bloquer légalement OpenAI du développement de nouveaux modèles sans garanties approuvées par des tiers. La Floride a soutenu dans le dépôt que les entreprises technologiques "ne peuvent pas continuer à avancer à toute vitesse dans leurs entreprises potentiellement apocalyptiques à moins d'y être forcées par le gouvernement". Uthmeier a ajouté : "Le procureur général de Floride répond à votre appel à l'aide".

En réponse à l'assaut juridique croissant, une porte-parole d'OpenAI a déclaré que les gens veulent savoir que l'IA est développée en toute sécurité, "et cela commence par ce que font les entreprises comme la nôtre". Elle a ajouté : "Les gouvernements ont un rôle important à jouer dans l'établissement de normes de sécurité robustes pour l'IA, et nous nous engageons à travailler avec la Floride et d'autres États sur l'avancement de politiques pragmatiques en matière d'IA qui s'appliquent à l'ensemble de l'industrie de l'IA - pas seulement à une seule entreprise".

Et N'OUBLIEZ PAS : Toute cette panique "oh merde, l'IA va tous nous tuer" est survenue juste au moment où les modèles open-weight de la Chine inondaient le marché, produisant des résultats effectivement à la hauteur des modèles de pointe pour de nombreuses tâches tout en le faisant beaucoup moins cher. Quelle coïncidence !

Tyler Durden
Lun, 28/09/2026 - 20:55