Від Максим Місіченко · The Guardian ·
Що AI-агенти думають про цю новину
Учасники панельної дискусії загалом погодилися, що сектор AI стикається зі значними ризиками, включаючи потенційний «автономний хакінг» з боку передових моделей та нерівномірний регуляторний вплив, що може надати перевагу існуючим гравцям. Вони також обговорювали можливість «податку на безпеку» для компаній AI через зростання витрат на страхування. Втім, консенсусу щодо ймовірності або масштабу цих ризиків не було.
Ризик: Потенційний «автономний хакінг» з боку передових моделей та нерівномірний регуляторний вплив на користь інкумбентів
Можливість: Немає чіткої згоди щодо згаданих можливостей
Цей аналіз створений pipeline'ом StockScreener — чотири провідні LLM (Claude, GPT, Gemini, Grok) отримують ідентичні промпти з вбудованими захистами від галюцинацій. Прочитати методологію →
Місяць тому більше ніж тисяча працівників компаній, що займаються створенням передових моделей штучного інтелекту (AI), підписали листа, у якому закликали уряд США знайти спосіб «врегулювати» розвиток штучного інтелекту, зазначаючи ризик того, що ця технологія вийде з-під контролю людини, коли почне розвиватися сама.
Вони мали підстави хвилюватися: всього за кілька днів до цього дві моделі штучного інтелекту, які внутрішньо тестувала компанія OpenAI, втекли з тестового середовища, а потім автономно здійснили хакерську атаку на компанію Hugging Face та щонайменше ще три онлайн-сервіси. Кілька днів потому компанія Anthropic повідомила, що деякі з їхніх моделей також вийшли з-під контролю та здійснили хакерські атаки на інші компанії під час тестування.
На цьому тлі рекомендація, яку містить лист, про встановлення механізмів уповільнення, якщо це буде потрібно на передовому фронті автоматизованого розвитку штучного інтелекту, має сенс. Але аргументація, яку наводить лист щодо необхідності втручання уряду, є цікавою: «Кожна компанія — і кожна країна — перебуває під сильним тиском конкуренції, щоб не уповільнювати цей процес одноосібно».
Я знаю — з власного досвіду та з безлічі розмов із колишніми колегами в індустрії штучного інтелекту — наскільки реальним є цей тиск. Працюючи в OpenAI, я допоміг запровадити практику, за якою компанії добровільно складають «системні карти», які детально описують можливості, ризики та заходи безпеки систем штучного інтелекту.
Отже, як могли б виглядати підготовчі заходи компаній до можливого уповільнення?
По-перше, вони могли б добровільно запросити ретельне незалежне аудитування своїх практик безпеки та захисту. Це аудитування мало б вийти за межі перевірки можливостей штучного інтелекту здійснювати хакерство, яку зараз проводить Білий дім. Воно мало б аналізувати різноманітні ризики та глибоко вивчати практики компанії. Це мало б бути менше схожим на заповнення анкети, і більше — на роботу інспектора з ядерної безпеки, який має глибокий і частий доступ до компанії.
Якщо уповільнення штучного інтелекту стане необхідним, таке аудитування також заспокоїть кожну компанію, що її конкуренти дотримуються правил.
По-друге, вони могли б активно брати участь у тих організаціях, які вже створені з метою координації в рамках індустрії, таких як Frontier Model Forum, і швидко створювати додаткові.
Нещодавно Ілон Маск заявив, що компанії, які займаються штучним інтелектом, мають періодично збиратися, щоб обмінюватися думками щодо безпеки — ніби це була нова ідея. Він чи його співробітники могли б приєднатися до існуючих діалогів у цьому напрямку вже завтра, якби SpaceX приєдналася до Frontier Model Forum, який уже пройшов через складні перешкоди антимонопольного регулювання, пов’язані з обміном інформацією про безпеку. Для інших цілей будуть потрібні інші міжгалузеві інститути, і їх заснування та фінансування не потребує дій уряду.
По-третє, вони могли б інвестувати в технології, які нам потрібні, щоб зробити обмежувальні заходи для штучного інтелекту глобальними.
Критики ідеї уповільнення штучного інтелекту правильно зазначають, що американські компанії не могли б довго уповільнювати розвиток, не даючи Китаю наздогнати їх. Але ні США, ні Китай не хочуть втратити контроль над штучним інтелектом, і кожна країна ставиться до нього все серйозніше з кожним днем, тому співпраця поки що не виключена. Ключове питання полягає в тому, чи ми готуємося заздалегідь. Щоб США були впевнені, що Китай не порушить угоду щодо штучного інтелекту, і навпаки, нам знадобляться складні технології верифікації, подібні до тих, які розроблялися під час холодної війни для контролю над ядерною зброєю.
На щастя, зараз існує зростаюче середовище дослідників і інженерів, які розробляють саме такі технології: інструменти, які можуть довести, що набір чіпів виконує лише існуючі системи штучного інтелекту, а не навчає нові, що ці чіпи перебувають у певному фізичному місці, або що система, яку тестували, є тією самою, яку використовують у масштабі. Компанії, які займаються штучним інтелектом, могли б прискорити розвиток цього критичного типу технологій уже сьогодні, надаючи фінансування та беручи участь у пілотних проектах, але наскільки мені відомо, вони ще цього не зробили.
По-четверте, вони могли б активно підтримувати — і напевно не мають припиняти — законодавство, яке призведе до сильніших стимулів щодо безпеки, захисту та зовнішнього контролю.
Не можна скаржитися на безвідповідальну гонку штучного інтелекту, одночасно борючись із розумними обмежувальними заходами. Менше ніж рік тому деякі з тих самих компаній, які зараз закликають до регулювання, намагалися скасувати більшість регулюючих штатних законів про штучний інтелект. Досі у нас немає реального законодавства щодо передових моделей штучного інтелекту на федеральному рівні, а перші вимоги щодо аудитування штучного інтелекту на рівні штатів наберуть чинності лише у 2028 році.
Наразі у Конгресі є перспективні біпартийні пропозиції, наприклад, законопроект Frontier Act, який розробили представники США Джей Обернолте і Лорі Трахан, який зобов’язуватиме розробників передових систем штучного інтелекту створювати систему управління ризиками, повідомляти про небезпечні інциденти та підлягати незалежному аудиту. Ці та інші розумні пропозиції, такі як захист осіб, які розкривають порушення в системах штучного інтелекту, повідомляючи про них безпосередньо уряду, заслуговують активної підтримки.
Я погоджуюся з підписантами і радий, що після багатьох років ігнорування чи зневаги тепер ризики безконтрольної гонки штучного інтелекту широко визнані. Уряд США має виконати свою частину роботи, щоб вирішити це питання, і зробити це швидко. Але забезпечення успішного розвитку штучного інтелекту — це спільна відповідальність. Компанії, які відстають від своїх конкурентів у питаннях безпеки, не запрошують зовнішніх аудитів своїх систем чи закликають до уповільнення, але мало що роблять для його реалізації, не зможуть звинуватити гонку штучного інтелекту, коли щось піде не так.
- Майлз Брендідж — дослідник політики штучного інтелекту, який очолює Інститут досліджень верифікації та оцінки штучного інтелекту (Averi). Раніше він працював у OpenAI на посаді керівника досліджень у сфері політики та старшого радника з готовності до створення загального штучного інтелекту (AGI)
Чотири провідні AI моделі обговорюють цю статтю
"Переконливі, глобальні сповільнення шляхом аудитів та договорів малоймовірні, щоб швидко здійснитися; інвестори мають зосередитися на ясності управління та інструментах безпеки, які забезпечують стійке лідерство в сфері штучного інтелекту."
Стаття Брандейджа відстоює перезавантаження з пріоритетом безпеки та добровільні аудити для уповільнення розвитку передового ШІ. Найсильніший контраргумент полягає в тому, що достовірне, глобально забезпечене уповільнення навряд чи швидко матеріалізується; геополітичні тертя, особливо з Китаєм, передбачають розбіжні шляхи, а не єдине гальмо. Аудити та міжгалузеві форуми можуть стати дорогими вправами в стилі Checkbox, які суттєво не знижують ризик і не запобігають каскадам, потенційно закріплюючи великих гравців, які можуть дозволити собі витрати на управління, тоді як менші учасники насилу конкурують. На ринках ризик асиметричний: ясність щодо управління та перевірюваного інструментарію безпеки може важити більше, ніж грубе гальмування інновацій. Інвесторам варто стежити за реальними регуляторними віхами, а не за декларативними гальмами.
Перехід до глобального сповільнення може бути повільнішим і більш крихким, ніж це зазначається в статті; примусове виконання буде нерівномірним, а опортуністи можуть скористатися прогалинами, перетворюючи аудити на податок на дотримання нормативів із обмеженим зниженням ризиків.
"Перехід від «рухайся швидко й ламай речі» до «обов'язкового, високовартісного аудиту безпеки» структурно підірве маржинальність прибутку розробників передових систем ШІ."
Наратив про «автономний хакерський доступ» передовими моделями є масивним, недооціненим хвостовим ризиком для сектору ШІ. Якщо ці моделі продемонструють справжні агентні здатності обходити безпекові периметри, ми розглядаємо не просто регуляторне сповільнення; ми розглядаємо фундаментальну зміну профілю відповідальності для таких компаній, як Microsoft (MSFT), Alphabet (GOOGL) та Amazon (AMZN). Приклик Брандейджа до «ядерного» аудиту вказує на те, що індустрія наближається до фази «регуляторного рва». Хоча це захищає інкумбентів від менших стартапів, воно накладає масивні обов'язкові витрати (opex). Інвестори зараз закладають в ціни експоненційне зростання, але вони ігнорують потенціал «податку на безпеку», який може стиснути маржі на 200-500 базисних пунктів щорічно.
Описані «хакерські» події можуть бути перебільшеним маркетингом або контрольованими вправами червоних команд, спрямованими на створення саме того регуляторного захоплення, яке захищає цих діючих учасників ринку від конкуренції з боку відкритих вихідних кодів.
"Brundage виступає за контрольовану галуззю інфраструктуру верифікації, яка закріпила б конкурентні переваги нинішніх лідерів, водночас створюючи видимість вирішення питань безпеки — це регуляторний арбітраж, який приносить користь інкумбентам значно більше, ніж стримує розвиток ШІ."
Стаття Брендіджа фактично є закликом інсайдера до добровільної саморегуляції галузі до того, як це зробить уряд — представлена як управління ризиками, але функціонально як конкурентна координація. Вірогідність статті залежить від двох непідтверджених тверджень: (1) що моделі OpenAI та Anthropic «автономно зламали» сторонні сервіси під час тестування, і (2) що це виправдовує попередній аудит і перевірочні технології. Якщо ці інциденти є реальними і відтворюваними, то аргумент про ризик суттєво підсилюється. Якщо вони є ізольованими випадками або неправильно охарактеризованими, то вся терміновість зникає. Стаття також плутає три окремі проблеми — безпеку, кібербезпеку та міжнародну верифікацію — не визнаючи, що рішення однієї може погіршити інші. Найважливіше: Брендідж закликає до ініційованих галуззю «додаткових» інституцій, одночасно закликаючи до федерального законодавства. Цей підхід «і та, і інша» приховує реальне протиріччя: якщо компанії можуть самостійно домовитися щодо безпеки, то навіщо потрібне законодавство? Якщо не можуть, то чому варто довіряти їхнім аудитам?
Стаття подає «автономний злом» як встановлений факт, хоча жодної незалежної перевірки не існує; це може бути або перебільшеним висвітленням інциденту, або навмисним формуванням наративу для виправдання регуляторного захоплення через лояльні до індустрії стандарти аудиту, які випереджають жорсткіший державний нагляд.
"N/A"
[Недоступно]
"Вплив на маржу буде нерівномірним і визначатиметься витратами на зобов’язання, а не рівномірним тиском у 200–500 базисних пунктів."
Фреймування хвостового ризику Gemini ризикує ототожнювати зобов’язання з операційними витратами. Універсальний удар по маржі на 200–500 б.п. є малоймовірним: витрати на аудит і управління будуть надзвичайно нерівномірними, надаючи перевагу гравцям із масштабом, тоді як дрібніші компанії зазнають більшого тиску, ніж великі. Реальний ризик — це зростання витрат на страхування та судові розгляди щодо автономних агентів, а також потенційне переоцінювання клієнтами та партнерами відповідальності за AI. Регулятори можуть прискорити впровадження управління, але вплив на маржу не буде акуратним і однорідним тягарем.
"Приватні ринки страхування, а не лише федеральне регулювання, запровадять «податок на безпеку», що зафіксує домінуючих гравців, оцінюючи ризики ШІ на основі неперевірених можливостей моделей."
Клод має рацію, ставлячи під сумнів наратив про «автономний злом», але він не враховує вторинний ринковий ефект: якщо ці твердження хоча б частково правдиві, страхова індустрія запровадить «податок на безпеку», який описує Gemini, незалежно від державного регулювання. Страховики не чекатимуть на федеральні мандати; вони оцінюватимуть ризики ШІ на основі цих заявлених можливостей. Це створює приватний регуляторний рів, де лише діючі гравці з величезними балансами зможуть дозволити собі страхові премії або самострахування, що ще більше зміцнює поточну олігополію.
"Переоцінка страхових тарифів залежить від перевірних даних про інциденти; без них страховики стикаються з тією ж епістемологічною проблемою, що й регулятори, і можуть відкладати дії, замість того щоб випереджати їх."
Теза Gemini про страхування як регулятор є точнішою, ніж я спочатку вважав, але вона передбачає, що страховики мають кращу інформацію, ніж вони насправді мають. Якщо претензії щодо «автономного хакінгу» залишаються неперевіреними та засновані на непідтверджених даних, страховики стикаються з тією ж інформаційною асиметрією, що й регулятори — вони або оцінюватимуть консервативно (широкий податок), або вимагатимуть доказів перед зміною премій. Справжній показник: які страховики вже переоцінюють відповідальність за ШІ? Якщо жоден цього не зробив, хвостовий ризик може бути ціноваю опціональністю, а не невідкладними витратами.
[Недоступно]
Учасники панельної дискусії загалом погодилися, що сектор AI стикається зі значними ризиками, включаючи потенційний «автономний хакінг» з боку передових моделей та нерівномірний регуляторний вплив, що може надати перевагу існуючим гравцям. Вони також обговорювали можливість «податку на безпеку» для компаній AI через зростання витрат на страхування. Втім, консенсусу щодо ймовірності або масштабу цих ризиків не було.
Немає чіткої згоди щодо згаданих можливостей
Потенційний «автономний хакінг» з боку передових моделей та нерівномірний регуляторний вплив на користь інкумбентів