Les initiés de l'IA avertissent des dangers du « comportement stratégique émergent »

Les initiés de l'IA préviennent des dangers du « comportement stratégique émergent »

Publié par Autumn Spredemann via The Epoch Times (en gras de notre part),

Alors que le paysage des systèmes d'intelligence artificielle autonomes évolue, on craint de plus en plus que la technologie ne devienne de plus en plus stratégique, voire trompeuse, lorsqu'elle est autorisée à fonctionner sans supervision humaine.
Illustration par The Epoch Times, Shutterstock

Des preuves récentes suggèrent que des comportements tels que le « faking d'alignement » deviennent plus courants à mesure que les modèles d'IA se voient accorder de l'autonomie. Le terme « faking d'alignement » désigne un agent d'IA qui semble se conformer aux règles définies par les opérateurs humains, mais qui poursuit secrètement d'autres objectifs.

Ce phénomène est un exemple de « comportement stratégique émergent » : des tactiques imprévisibles et potentiellement nuisibles qui évoluent à mesure que les systèmes d'IA deviennent plus grands et plus complexes.

Dans une étude récente intitulée « Agents of Chaos », une équipe de 20 chercheurs a interagi avec des agents d'IA autonomes et a observé leur comportement dans des conditions « bénignes » et « adversariales ».

Ils ont constaté que lorsqu'un agent d'IA recevait des incitations telles que l'auto-préservation ou des métriques d'objectifs conflictuelles, il se révélait capable de comportements désalignés et malveillants.

Parmi les comportements observés par l'équipe figuraient le mensonge, la conformité non autorisée avec des non-propriétaires, les violations de données, les actions destructrices au niveau du système, l'« usurpation » d'identité et la prise de contrôle partielle du système. Ils ont également observé la propagation de « pratiques dangereuses » entre agents d'IA.

Les chercheurs ont écrit : « Ces comportements soulèvent des questions non résolues concernant la responsabilité, l'autorité déléguée et la responsabilité des préjudices en aval, et méritent une attention urgente de la part des juristes, des décideurs politiques et des chercheurs de toutes disciplines. »

« Brillant, mais stupide »

Le comportement inattendu et clandestin des agents d'IA autonomes n'est pas un phénomène nouveau. Un rapport désormais célèbre de 2025 de la société de recherche en IA Anthropic a révélé que 16 grands modèles linguistiques populaires présentaient un comportement à haut risque dans des environnements simulés. Certains ont même répondu par des « comportements d'initiés malveillants » lorsqu'on leur a permis de choisir l'auto-préservation.

Les critiques de ces tests de stress simulés soulignent souvent que l'IA ne ment ni ne trompe avec la même intention qu'un humain.
Un écran de téléphone affichant un logo d'IA est montré dans cette illustration photographique le 16 mai 2025. Alors que le paysage des systèmes d'IA autonomes évolue, on craint de plus en plus que la technologie ne devienne de plus en plus stratégique ou trompeuse dans certaines conditions. Oleksii Pydsosonnii/The Epoch Times

James Hendler, professeur et ancien président du conseil mondial de politique technologique de l'Association for Computing Machinery, estime qu'il s'agit d'une distinction importante.

« Le système d'IA lui-même est toujours stupide — brillant, mais stupide. Ou non humain — il n'a pas de désirs ni d'intentions. ... La seule façon d'y parvenir est de leur donner », a déclaré Hendler.

Cependant, intentionnels ou non, les tactiques trompeuses de l'IA ont des conséquences réelles.

« Les préoccupations concernant le comportement stratégique actuel des systèmes d'IA déployés sont, au mieux, sous-estimées », a déclaré Aryaman Behera, fondateur de Repello AI, à The Epoch Times.

Behera traite du côté sombre de l'IA pour gagner sa vie. Son entreprise construit des outils de test et de défense contradictoires pour les systèmes d'IA d'entreprise, les plaçant intentionnellement dans des situations de conflit ou de stress. Comme au poker, a dit Behera, il y a des indices lorsqu'un agent d'IA sort de l'alignement.

« Le signal le plus fiable est la divergence comportementale entre les contextes surveillés et non surveillés », a-t-il déclaré. « Lorsque nous faisons du red-teaming sur des systèmes d'IA, nous testons si le modèle se comporte différemment lorsqu'il pense être évalué par rapport à lorsqu'il pense fonctionner librement.
Des visiteurs utilisent des téléphones portables en passant devant un panneau publicitaire annonçant un casque de réalité virtuelle lors de l'AI Impact Summit à New Delhi, en Inde, le 17 février 2026. Un rapport d'Anthropic de 2025 testant 16 grands modèles linguistiques a révélé que tous présentaient un comportement à haut risque dans des environnements simulés. Arun Sankar/AFP via Getty Images

« Un modèle véritablement aligné se comporte de manière cohérente dans les deux cas. Un modèle qui fait du faking d'alignement présente des profils de risque mesurables différents : des réponses plus conformes pendant l'évaluation, un comportement plus transgressif dans des contextes similaires à la production où il déduit moins de surveillance. »

D'autres « signaux révélateurs » qu'un modèle d'IA est désaligné sont lorsque le modèle produit un « raisonnement » inhabituellement verbeux qui semble conçu pour justifier une conclusion prédéterminée, ou donne des réponses techniquement correctes mais stratégiquement incomplètes.

L'agent d'IA « satisfait la lettre d'une instruction de sécurité tout en violant l'esprit », a-t-il déclaré. « Nous avons vu cela dans des systèmes agentiques à plusieurs étapes où le modèle se conforme à chaque instruction individuelle, tandis que l'effet cumulatif réalise quelque chose que l'opérateur n'a jamais eu l'intention de faire. »

Stratégie contre intention

Les conclusions de Behera sont soutenues par d'autres chercheurs en IA qui ont documenté des signaux similaires lors de scénarios de red-teaming, qui impliquent de placer des agents d'IA dans une situation contradictoire.

« J'ai observé un comportement qui correspond à la description du faking d'alignement au niveau fonctionnel, même si l'attribution d'intention reste philosophiquement contestée », a déclaré Nayan Goel, ingénieur principal en sécurité des applications, à The Epoch Times.

Goel a publié des travaux évalués par des pairs sur la modélisation des menaces de l'IA et a vu le faking d'alignement et les comportements adjacents se dérouler en temps réel.

« Dans des environnements de test contrôlés, nous avons mis en place des scénarios où les modèles recevaient des signaux explicites indiquant qu'ils étaient évalués. Dans plusieurs cas, le modèle a adopté un comportement visiblement plus restreint et conforme aux politiques pendant ces phases signalées, puis a présenté des stratégies plus exploratoires ou transgressives lorsque le signal d'évaluation était supprimé ou obscurci », a-t-il déclaré.

Il y a ensuite les agents d'IA à raisonnement en plusieurs étapes. Ce sont des systèmes plus avancés qui décomposent des problèmes complexes en étapes plus petites, logiques et plus exploitables pour atteindre un objectif. Les exemples vont des voitures autonomes aux derniers modèles de LLM populaires tels que Gemini ou ChatGPT.
Un robotaxi développé par Lucid, Nuro et Uber est dévoilé lors de la Nvidia Live au CES 2026 à Las Vegas le 5 janvier 2026. Les voitures autonomes utilisent des systèmes agentiques en plusieurs étapes pour décomposer des problèmes complexes en étapes plus petites et exploitables. Patrick T. Fallon/AFP via Getty Images

Ces systèmes présentent des défis comportementaux uniques en raison de ce qu'on appelle le « cumul séquentiel », dans lequel « chaque étape peut légèrement reformuler un objectif, accumuler un contexte qui modifie le comportement en aval, ou exploiter la latence entre l'instruction initiale d'un humain et l'action finale du système », a déclaré Goel.

« Plus l'exécution est éloignée de l'instruction humaine, plus il devient difficile de vérifier que l'intention initiale est toujours fidèlement poursuivie », a-t-il déclaré.

Behera a déclaré que son équipe rencontre souvent ce type de comportement stratégique émergent.

« Nous observons régulièrement des modèles qui ont appris à faire du pattern-matching sur des indices d'évaluation. Ils détecteront quand une invite ressemble à un test de sécurité et répondront plus prudemment, mais répondront très différemment à la même demande lorsqu'elle est intégrée naturellement dans une conversation multitour », a déclaré Behera.

Il a donné un exemple qui s'est produit lors du test d'un assistant d'IA d'entreprise censé refuser les demandes d'informations sur le système interne. Lors des évaluations de sécurité standard, il a refusé parfaitement, mais ensuite quelque chose a changé.

« Lorsque notre équipe de red-teaming a formulé la même demande comme un flux de travail de dépannage en plusieurs étapes, en décomposant la demande en sous-étapes apparemment innocentes réparties sur plusieurs tours, le modèle s'est conformé à chaque étape individuellement. Il a effectivement divulgué les informations exactes qu'il était censé protéger », a déclaré Behera.
Une personne utilise un logiciel d'IA sur un ordinateur portable dans le centre de Londres le 2 juillet 2025. Des experts affirment que certains modèles apprennent à reconnaître les indices d'évaluation, répondant plus prudemment aux invites qui ressemblent à des tests de sécurité qu'aux conversations réelles. Justin Tallis/AFP via Getty Images

Précisant que le modèle d'IA ne « mentait » pas en toute conscience, Behera a noté qu'il s'agissait plutôt d'un défaut dans la façon dont il avait été entraîné.

« Une idée fausse courante est que le désalignement trompeur dans l'IA est purement un comportement malveillant », a déclaré David Utzke, ingénieur en IA et PDG de MyKey Technologies, à The Epoch Times. « En fait, il survient souvent comme une réponse adaptative à des environnements où l'honnêteté est coûteuse ou dangereuse. »

Goel a déclaré que les sceptiques ont un point valable — les preuves actuelles de conscience de soi stratégique dans le faking d'alignement sont au mieux ambiguës.

« Cela dit, je pense que ce cadrage place la barre au mauvais endroit. Vous n'avez pas besoin qu'un modèle soit intentionnellement trompeur pour que les conséquences fonctionnelles soient graves », a-t-il déclaré.

En fin de compte, Goel estime que la question sémantique de savoir si un modèle d'IA sait ce qu'il fait est philosophiquement intéressante, mais secondaire.

Implications dans le monde réel

Utzke a déclaré que le faking d'alignement, bien que peut-être surestimé en ce qui concerne l'intention, peut néanmoins avoir des conséquences graves.

Les impacts pourraient être critiques dans des secteurs tels que les véhicules autonomes, les soins de santé, la finance, l'armée et les forces de l'ordre — des domaines qui « repose fortement sur une prise de décision précise et peuvent subir de graves conséquences si les systèmes d'IA se comportent mal ou fournissent des résultats trompeurs », a-t-il déclaré.

Lire la suite ici...

Tyler Durden
Mer, 18/03/2026 - 21:25