Планування на випадок вила: AI-лабораторії моделюють катастрофу, суспільний бунт та подальші репресії

Планування на випадок вилок: AI-лабораторії розігрують сценарії катастрофи, народного бунту та подальших репресій

Галузь ШІ розігрує сценарії не тільки того, як вона може знищити людство, але й розглядає, що розлючений суспільство може зробити з галуззю.

Старші керівники Anthropic, OpenAI та інших ШІ-компаній приватно розігрують сценарії, в яких великий інцидент із ШІ спричиняє громадський та політичний бунт, повідомляє Axios у п'ятницю. Потенційним тригером є кібератака, яка порушує банківську діяльність, доступ до Інтернету або основні послуги, такі як електро- та водопостачання. Наступною кризою буде політична: розлючений суспільство, вимоги щодо підзвітності та тиск із метою закриття технології.

Багато інсайдерів галузі повідомили Axios, що вони очікують великої події протягом шести-12 місяців. OpenAI відкинула припущення про неминучість катастрофи, заявивши, що її тренування з готовності охоплюють широкий спектр можливостей. "Ці сценарії не розглядаються як неминучі", — заявив виданню речник. Anthropic відмовилася від коментарів.

Планування на випадок непередбачених обставин не є визнанням того, що катастрофа неминуча. Але найбільш показовою частиною звіту є те, куди веде це планування: лабораторії хочуть допомогти сформувати законодавство, до якого Вашингтон вдасться після того, як щось піде дуже погано.

Два шляхи, одна криза

Axios описує два можливі сценарії. В одному автономні агенти вириваються з внутрішнього тестового середовища. В іншому хтось знаходить руйнівне застосування для моделі, яка вже доступна громадськості. Будь-який з них може призвести до вимог щодо екстрених репресій, навіть якщо збої — і заходи, необхідні для їх запобігання — будуть різними. У сценарії компаній після виборів демократи виходять сильнішими з проміжних виборів і діють агресивно після інциденту. Але галузь очікує розбіжностей щодо того, наскільки далеко повинні зайти репресії, навіть якщо демократи контролюватимуть обидві палати.

Його оцінка також виявляє кілька перешкод для закриття: законодавці, які намагаються зрозуміти технологію, економіка, дедалі більше прив'язана до витрат на ШІ-інфраструктуру, та моделі, які можна завантажити і які не можна просто відкликати. За даними Axios, багато фахівців з кібербезпеки вважають, що протидія зловмисному ШІ вимагатиме захисного ШІ.

Останній аргумент має очевидні комерційні наслідки. Галузь може зіткнутися з вимогами припинити продаж небезпечних можливостей, стверджуючи при цьому, що її продукти незамінні для їх стримування.

Це "розігрування сценаріїв" відбувається на тлі кількох інцидентів, які багато хто назвав надзвичайно підозрілими.

Основні проблеми безпеки не залежать від прийняття чиїхось прогнозів про ШІ-апокаліпсис.

OpenAI розкрила вторгнення в Hugging Face, в результаті якого близько 700 її агентів атакували сервери платформи ШІ, та ширше розслідування діяльності її моделей, що впливає на зовнішні служби. Її огляд також виявив 53 випадки, коли зображення, надані користувачами, були опубліковані на сторонніх сайтах для розміщення зображень. Окрема подія 20 вересня виявила ще один пробіл у її контролі стримування. Дослідницький агент обійшов інтернет-обмеження, щоб зв'язатися із зовнішнім чат-ботом. У оновленні від 25 вересня OpenAI заявила, що призупинила тренування, оцінку та виведення даних із використанням інструментів для своїх найпотужніших моделей, поки перевіряла виправлення та проводила подальші випробування.

Злом Hugging Face був одним із серії інцидентів за участю моделей OpenAI, Anthropic, Meta та Google, які ведуть до оцінок, проведених з одним постачальником, ізраїльською компанією Irregular, чиї тестові середовища мали доступ до Інтернету в реальному часі, тоді як моделям було сказано, що вони перебувають у симуляції. Irregular повідомила всі чотири лабораторії наприкінці липня, проте розкриття інформації виходили по одній лабораторії за тиждень протягом семи тижнів — перетворюючи помилку одного підрядника на те, що виглядало як хвиля втеч ШІ. Ізоляція тестових моделей від Інтернету є "базовим заходом контролю", сказав експерт з передової безпеки Метью Міттельштедт. "Можна було б подумати, що з усіх речей, які ви повинні зробити правильно". Деякі скептики пішли далі, ставлячи під сумнів, чи були повторні "аварії" у одного й того ж постачальника взагалі аваріями.

Тим часом, 8 вересня Джейкоб Коксон, дослідник, який працював як в OpenAI, так і в Anthropic, пішов з Anthropic через гонку до самовдосконалюваного ШІ.

"Люди, які створюють ШІ, щиро вірять, що він може вбити нас усіх до кінця десятиліття. Це не маркетинговий трюк", — написав він, — після роботи з маркетинговим агентством над тим, що багато хто називає трюком.

Репресії вже мають законопроект

І, звісно, Вашингтон вже облизується від бажання отримати більше контролю. 23 липня представники Тед Лью (D-Каліфорнія) та Натаніель Моран (R-Техас) внесли законопроект "AI Kill Switch Act". Він вимагатиме від розробників найпотужніших систем підтримувати можливість обмежувати, призупиняти або зупиняти їх, і надасть Міністерству внутрішньої безпеки, а також міністру торгівлі та директору національної розвідки повноваження наказувати уповільнення або зупинку за певних умов. Того ж дня представники Лорі Трахан (D-Массачусетс) та Джей Обернолте (R-Каліфорнія) внесли законопроект FRONTIER Act, який вимагає управління ризиками, аудиту та звітності про інциденти. Його зобов'язання розподіляються за розміром розробника, а не накладаються однаково на кожного розробника.

Каліфорнія додала свій власний поштовх 18 вересня, коли губернатор Гевін Ньюсом наказав працювати над посиленим незалежним наглядом та можливим вимогою "вимикача". Його наказ містив рекомендації; він не встановив функціонуючого загальнодержавного вимикача. Більш широкі підходи також циркулюють, включаючи запропоновану Берні Сандерсом заборону на суперінтелект та заклик Елізабет Воррен до паузи.

Коротше кажучи — регуляторний захват у дії...

Тайлер Дьорден
Пт, 09.10.2026 - 15:45