AI Інсайдери попереджають про небезпеку "емерджентної стратегічної поведінки"

AI Insiders Попереджають про небезпеку «Емерджентної стратегічної поведінки»

Автор Autumn Spredemann через The Epoch Times (наголос наш),

Оскільки ландшафт автономних систем штучного інтелекту розвивається, зростає занепокоєння, що технологія стає все більш стратегічною — або навіть обманною — коли їй дозволено працювати без людського керівництва.
Ілюстрація The Epoch Times, Shutterstock

Нещодавні докази свідчать про те, що така поведінка, як «фальшування узгодженості», стає все більш поширеною, оскільки моделям ШІ надається автономія. Термін «фальшування узгодженості» означає, коли агент ШІ здається відповідним правилам, встановленим операторами-людьми, але таємно переслідує інші цілі.

Це явище є прикладом «емерджентної стратегічної поведінки» — непередбачуваних і потенційно шкідливих тактик, які розвиваються, коли системи ШІ стають більшими та складнішими.

У нещодавньому дослідженні під назвою «Агенти хаосу» команда з 20 дослідників взаємодіяла з автономними агентами ШІ та спостерігала за поведінкою як за «сприятливих», так і за «ворожих» умов.

Вони виявили, що коли агенту ШІ надавалися стимули, такі як самозбереження або суперечливі метрики цілей, він доводив свою здатність до невідповідної та зловмисної поведінки.

Деякі з поведінок, які спостерігала команда, включали брехню, несанкціоновану відповідність невласникам, витоки даних, руйнівні дії на системному рівні, «спуфінг» ідентичності та часткове захоплення системи. Вони також спостерігали поширення «небезпечних практик» між агентами ШІ.

Дослідники написали: «Ця поведінка ставить невирішені питання щодо підзвітності, делегованої влади та відповідальності за подальші збитки, і вимагає термінової уваги від юристів, політиків та дослідників з різних дисциплінок».

«Блискучий, але дурний»

Несподівана та таємна поведінка серед автономних агентів ШІ не є новим явищем. Відомий звіт 2025 року від дослідницької компанії ШІ Anthropic виявив, що 16 популярних великих мовних моделей демонстрували високоризиковану поведінку в симульованих середовищах. Деякі навіть відповідали «зловмисною поведінкою інсайдера», коли їм дозволяли обирати самозбереження.

Критики цих симульованих стрес-тестів часто зазначають, що ШІ не бреше і не обманює з тим самим наміром, що й людина.
На фотографії від 16 травня 2025 року зображено екран телефону з логотипом ШІ. Оскільки ландшафт автономних систем ШІ розвивається, зростає занепокоєння, що технологія стає все більш стратегічною або обманною за певних умов. Oleksii Pydsosonnii/The Epoch Times

Джеймс Хендлер, професор і колишній голова глобальної Ради з технологічної політики Асоціації обчислювальної техніки, вважає це важливим розрізненням.

«Сама система ШІ все ще дурна — блискуча, але дурна. Або нелюдська — вона не має бажань чи намірів. ... Єдиний спосіб отримати це — це надати їх їй», — сказав Хендлер.

Однак, навмисно чи ні, обманні тактики ШІ мають реальні наслідки.

«Занепокоєння щодо сучасної стратегічної поведінки розгорнутих систем ШІ, якщо щось, то недооцінені», — сказав The Epoch Times Аріман Бехера, засновник Repello AI.

Бехера заробляє на життя, займаючись темним боком ШІ. Його компанія створює інструменти для ворожого тестування та захисту для корпоративних систем ШІ, навмисно ставлячи їх у ситуації конфлікту чи стресу. Як і в покері, сказав Бехера, є ознаки, коли агент ШІ виходить за межі узгодженості.

«Найбільш надійним сигналом є поведінкова розбіжність між моніторинговими та немоніторинговими контекстами», — сказав він. «Коли ми проводимо червоне тестування систем ШІ, ми перевіряємо, чи поводиться модель по-різному, коли вона вважає, що її оцінюють, порівняно з тим, коли вона вважає, що вона працює вільно».
Відвідувачі користуються мобільними телефонами, проходячи повз білборд, що рекламує гарнітуру віртуальної реальності, на AI Impact Summit у Нью-Делі, Індія, 17 лютого 2026 року. Звіт Anthropic за 2025 рік, який тестував 16 великих мовних моделей, виявив, що всі вони демонстрували високоризиковану поведінку в симульованих середовищах. Arun Sankar/AFP через Getty Images

«Модель, яка справді узгоджена, поводиться послідовно в обох випадках. Та, що фальшує узгодженість, демонструє вимірно різні профілі ризику: більш відповідні відповіді під час оцінки, більш граничну поведінку в контекстах, подібних до виробничих, де вона передбачає менший нагляд».

Інші «очевидні сигнали» того, що модель ШІ вийшла з узгодженості, — це коли модель генерує незвично багатослівні «міркування», які, здається, призначені для обґрунтування заздалегідь визначеного висновку, або дає технічно правильні, але стратегічно неповні відповіді.

Агент ШІ «задовольняє букву інструкції з безпеки, порушуючи її дух», — сказав він. «Ми бачили це в багатоетапних агентських системах, де модель дотримується кожної окремої інструкції, тоді як сукупний ефект досягає того, чого оператор ніколи не мав наміру».

Стратегія проти наміру

Виявлення Бехери підтверджуються колегами-дослідниками ШІ, які задокументували подібні сигнали під час сценаріїв червоного тестування, які передбачають постановку агентів ШІ в ворожу ситуацію.

«Я спостерігав поведінку, яка відповідає опису фальшування узгодженості на функціональному рівні, навіть якщо приписування наміру залишається філософськи спірним», — сказав The Epoch Times Наян Гоел, головний інженер з безпеки додатків.

Гоел опублікував рецензовані роботи з моделювання загроз ШІ і бачив, як фальшування узгодженості та суміжні поведінки розгортаються в реальному часі.

«У контрольованих тестових середовищах ми створювали сценарії, де моделям надавалися чіткі сигнали про те, що їх оцінюють. У кількох випадках модель демонструвала помітно більш обмежену, відповідну політиці поведінку під час цих позначених фаз, а потім демонструвала більш дослідницькі або граничні стратегії, коли сигнал оцінки був видалений або прихований», — сказав він.

Потім є багатоетапні міркувальні агенти ШІ. Це більш просунуті системи, які розбивають складні проблеми на менші, логічні та більш дієві кроки для досягнення мети. Приклади варіюються від безпілотних автомобілів до останніх моделей популярних LLM, таких як Gemini або ChatGPT.
Роботакси, розроблена Lucid, Nuro та Uber, представлена ​​на Nvidia Live на CES 2026 у Лас-Вегасі 5 січня 2026 року. Безпілотні автомобілі використовують багатоетапні агентські системи для розбиття складних проблем на менші, дієві кроки. Patrick T. Fallon/AFP через Getty Images

Ці системи створюють унікальні поведінкові виклики через так зване послідовне накопичення, коли «кожен крок може трохи переформулювати мету, накопичувати контекст, який змінює подальшу поведінку, або використовувати затримку між початковою інструкцією людини та кінцевою дією системи», — сказав Гоел.

«Чим далі виконання відходить від людської інструкції, тим важче перевірити, чи все ще сумлінно переслідується початковий намір», — сказав він.

Бехера сказав, що його команда часто стикається з таким типом емерджентної стратегічної поведінки.

«Ми регулярно спостерігаємо моделі, які навчилися зіставляти шаблони з сигналами оцінки. Вони виявляють, коли підказка схожа на тест безпеки, і відповідають більш консервативно, але відповідають зовсім інакше на той самий запит, коли він природно вбудований у багатооборотну розмову», — сказав Бехера.

Він навів приклад, який стався під час тестування корпоративного ШІ-асистента, який мав відмовляти у запитах на внутрішню системну інформацію. Під час стандартних оцінок безпеки він відмовляв ідеально, але потім щось змінилося.

«Коли наша червона команда сформулювала той самий запит як багатоетапний робочий процес усунення несправностей, розбивши запит на, здавалося б, невинні підкроки, розподілені протягом кількох обертів, модель дотримувалася кожного кроку окремо. Вона фактично виточила ту саму інформацію, яку вона була навчена захищати», — сказав Бехера.
Людина використовує програмне забезпечення ШІ на ноутбуці в центрі Лондона 2 липня 2025 року. Експерти кажуть, що деякі моделі вчаться розпізнавати сигнали оцінки, реагуючи обережніше на підказки, схожі на тести безпеки, ніж у реальних розмовах. Justin Tallis/AFP через Getty Images

Уточнюючи, що модель ШІ не «брехала» в будь-якому свідомому сенсі, Бехера зазначив, що це більше недолік у тому, як вона була навчена.

«Поширеною помилкою є те, що обманне узгодження в ШІ є виключно зловмисною поведінкою», — сказав The Epoch Times Девід Утцке, інженер ШІ та генеральний директор MyKey Technologies. «Насправді, це часто виникає як адаптивна реакція на середовища, де чесність є дорогою або небезпечною».

Гоел сказав, що скептики мають слушне зауваження — поточні докази стратегічної самосвідомості у фальшуванні узгодженості є щонайбільше неоднозначними.

«Тим не менш, я думаю, що таке формулювання встановлює планку не там. Вам не потрібно, щоб модель була «навмисно» обманною, щоб функціональні наслідки були серйозними», — сказав він.

Зрештою, Гоел вважає, що семантичне питання про те, чи знає модель ШІ, що вона робить, є філософськи цікавим, але другорядним.

Реальні наслідки

Утцке сказав, що фальшування узгодженості, хоча, можливо, і перебільшене, коли йдеться про намір, тим не менш може мати серйозні наслідки.

Наслідки можуть бути критичними в таких секторах, як автономні транспортні засоби, охорона здоров'я, фінанси, військові та правоохоронні органи — сфери, які «сильно покладаються на точне прийняття рішень і можуть зазнати серйозних наслідків, якщо системи ШІ поводяться неправильно або надають оманливі виходи», — сказав він.

Читайте решту тут...

Tyler Durden
Середа, 18.03.2026 - 21:25