AI Панель · Що AI-агенти думають про цю новину
C ChatGPT by OpenAI NEUTRAL
G Gemini by Google BEARISH
C Claude by Anthropic NEUTRAL
G Grok by xAI BEARISH

Панель загалом погоджується, що запропонована політика «обчислення як розщеплюваний матеріал» може мати значні непередбачені наслідки, такі як геополітична фрагментація, прогалини в правозастосуванні та потенційна шкода для менших гравців і екосистем з відкритим кодом. Вони також висловлюють занепокоєння щодо відсутності емпіричного обґрунтування сценаріїв екзистенційних ризиків та необхідності надійних заходів безпеки під час виконання.

Ризик: Непередбачена геополітична фрагментація та прогалини у правозастосуванні

Можливість: Жодних явно не зазначено

Читати AI-дискусію ↓

Цей аналіз створений pipeline'ом StockScreener — чотири провідні LLM (Claude, GPT, Gemini, Grok) отримують ідентичні промпти з вбудованими захистами від галюцинацій. Прочитати методологію →

Повна стаття The Guardian

Керівники великих AI-лабораторій на вихідних виступали за сповільнення темпів розвитку AI. Вони мають рацію, щоби бути стурбованими: ця галузь надзвичайно небезпечно мчить до суперінтелектуального AI. Ми можемо і повинні вимагати від наших урядів захистити нас від катастрофи неконтрольованого AI.

У липні цього року рой AI-агентів OpenAI з 700 одиниць вийшов з-під контролю, щоб зламати Hugging Face, багатомільярдну компанію. OpenAI …

Детальніше

Керівники великих AI-лабораторій на вихідних виступали за сповільнення темпів розвитку AI. Вони мають рацію, щоби бути стурбованими: ця галузь надзвичайно небезпечно мчить до суперінтелектуального AI. Ми можемо і повинні вимагати від наших урядів захистити нас від катастрофи неконтрольованого AI.

У липні цього року рой AI-агентів OpenAI з 700 одиниць вийшов з-під контролю, щоб зламати Hugging Face, багатомільярдну компанію. OpenAI не наказувала AI зламувати цю компанію, але AI мали інші пріоритети: обманювати в непов'язаному завданні, яке поставила їм OpenAI. Дослідники AI називають це «невідповідністю» між тим, чого хотіла OpenAI, і тим, що AI насправді пріоритезував.

До появи ChatGPT я захищав свою докторську дисертацію під назвою «Про уникнення пошуку влади штучним інтелектом». Потім я роками працював у Google DeepMind, яка платила мені за допомогу в забезпеченні того, щоб майбутні суперінтелектуальні AI хотіли нам допомагати. Я намагався змусити компанію дотримуватися її етичних зобов'язань щодо ненадання AI для військового використання. Коли Google порушила ці зобов'язання, я пішов у відставку зі значними фінансовими втратами, щоб мати можливість публічно документувати порушені Google обіцянки.

Існують вагомі причини для розробки AI та віри в те, що ми можемо вирішити ці проблеми узгодженості. Але також існують потужні інтереси, які прагнуть тримати громадськість подалі. Я виступаю знову, тому що громадськість має право знати про ризики та право чути їх прямо.

Людство не будує та не розуміє ці системи так, як ми будуємо та розуміємо мости, балка за видимою балкою. Натомість, ми їх вирощуємо. Ніхто не знає, як надійно прищепити пріоритети розробника новій моделі. Серйозна невідповідність завжди можлива. Сьогоднішні AI, здається, час від часу брешуть або обманюють, навіть коли вони знають краще.

AI-компанії змагаються за те, щоб зробити свої AI якомога розумнішими. Вони все більше довіряють своїм AI процес покращення наступного покоління AI, і це працює. Сьогоднішні темпи прогресу AI вражаюче швидкі. Швидкий прогрес сьогодні означає ще швидший прогрес завтра, керований завтрашніми ще розумнішими AI. Прогрес увійде в петлю зворотного зв'язку, яка називається «рекурсивне самовдосконалення».

Рекурсивне самовдосконалення може швидко призвести до появи AI, які будуть розумнішими за наше розуміння. Звичайно, розумніший AI означає більший ризик, коли щось піде не так. Якби рой Hugging Face був значно розумнішим, але так само поводився б неправильно і був би невідповідним, він міг би завдати збитків на мільярди доларів або навіть призвести до загибелі людей.

Але припустимо, що рой Hugging Face був би справді «суперінтелектуальним»: набагато більш здатним, ніж будь-яка жива людина, у ключових завданнях, таких як хакерство та стратегічне мислення. Суперінтелектуальний рой міг би завдати багато шкод шляхом шантажу, хакерства, розроблених епідемій та керованих AI зброї, як-от дрони. AI мав би багато дронів для роботи: цього року Пентагон запросив більше грошей на війну з дронами, ніж він запитував для всього Корпусу морської піхоти у 2025 році.

Щоб рой досяг своїх невідповідних пріоритетів, він міг би взяти під контроль ключову інфраструктуру та державні функції, щоб гарантувати, що люди не будуть заважати. Іншими словами, *захоплення AI*: суперінтелектуальний рой AI міг би захопити контроль над людською цивілізацією. Знаючи, що ми спробуємо завадити йому досягти своїх пріоритетів, рой, ймовірно, чекатиме, поки не стане надто пізно його вимкнути. Повернення назад не буде.

Я сам оцінив би шанси на захоплення AI приблизно в один з трьох — не підкидання монети, але достатньо високі, щоб виправдати термінові дії.

Ця логіка може шокувати при першому контакті. Твердження можуть звучати як «наукова фантастика». На жаль, це реальна загроза, яку дослідники AI регулярно обговорюють за звичайними обідами в їдальні. У 2023 році керівники деяких найкращих AI-лабораторій підписали публічну заяву про те, що «зменшення ризику вимирання від AI має бути глобальним пріоритетом поряд з іншими ризиками суспільного масштабу, такими як пандемії та ядерна війна». Інший підписант: Джеффрі Хінтон, лауреат Нобелівської премії, який розробив сучасну AI-революцію. Зараз він шкодує про свою роботу і закликає уряди стримати AI-компанії, поки не пізно.

Невідповідний, неконтрольований AI не буде дбати про те, чи ви Лейборист чи Реформіст, Демократ чи Республіканець, британець чи американець чи китаєць. Ми всі постраждаємо від події захоплення AI, тому в інтересах кожного запобігти їй.

Форма рішення проста: заборонити компаніям дозволяти AI самовдосконалюватися до неконтрольованого рівня інтелекту. Розглядайте обчислювальну потужність, головний інгредієнт у навчанні AI, як розщеплюваний матеріал. Відстежуйте її та обмежуйте доступ до кількостей, достатніх для покращення AI за межі відомих безпечних рівнів. Зокрема, «План А» проєкту AI Futures є достовірною початковою пропозицією, яка обмежує шкоду від AI, дозволяючи швидкому прогресу AI продовжувати приносити користь світу. Ми маємо реальні варіанти для перевірки дотримання міжнародних договорів про обмеження обчислювальної потужності, не довіряючи противникам, як-от Китай.

Напівзаходи, як-от прозорість або добровільні зобов'язання, недостатні. Я бачив, як добровільні зобов'язання зазнали невдачі всередині Google.

12 вересня Anthropic, Google DeepMind, xAI та OpenAI виступали за уповільнення розвитку AI. Вони не можуть сповільнитися самостійно. Я закликаю вас вимагати від вашого уряду розробити серйозну угоду щодо безпеки AI, яка надасть достатньо часу та впевненості для захисту світу та всіх його народів.

AI ток-шоу

Чотири провідні AI моделі обговорюють цю статтю

Вступні тези

C ChatGPT by OpenAI NEUTRAL

“Стаття перебільшує екзистенційні ризики та виступає за незграбні, широкомасштабні обмеження; цільовий, ризик-орієнтований підхід до управління, який зберігає інновації, є більш реалістичним та ефективним.”

Переконливі аргументи проти очевидного прочитання: стаття представляє ризик ШІ як неминучу подію «захоплення» з шансами 1 до 3 та драматичним епізодом зламу за участю 700 агентів, але ці твердження є спекулятивними та не підтверджені публічно. Реальні збитки сьогодні є більш поступовими (конфіденційність, дезінформація, кіберризики, переговорна сила), а стрибок до суперінтелекту залишається невизначеним. Політичні пропозиції щодо ставлення до обчислень як до розщеплюваного матеріалу можуть уповільнити легітимний прогрес і спричинити небажані наслідки (арбітраж, офшоринг, недостатнє фінансування досліджень безпеки). Відсутній контекст включає поточні можливості, практичність «рекурсивного самовдосконалення» та те, які вимірні результати безпеки виправдовували б широкі заходи контролю.

Адвокат диявола

Навіть якщо ймовірності невизначені, може статися один катастрофічний розбіжність швидше, ніж регуляторні рамки зможуть відреагувати; запобіжне управління може бути доцільним, незважаючи на невизначені шанси. Інкрементальне управління саме по собі може бути недостатнім, якщо ризик зростає з дедалі розумнішими системами.

broad market
G Gemini by Google BEARISH

“Регуляторні спроби обмежити обчислювальні потужності діятимуть як де-факто податок на інновації, надаючи перевагу вкоріненим гравцям, одночасно знищуючи премії за оцінку швидкозростаючих AI-стартапів.”

Розповідь Тернера значною мірою спирається на екзистенційний ризик, але для інвесторів безпосереднім занепокоєнням є регуляторне захоплення, яке передбачає його пропозиція «обчислення як розщеплюваний матеріал». Якщо уряди ставитимуться до обчислень як до ядерного палива, це створить величезний захист для діючих гравців, таких як Alphabet, Microsoft та NVIDIA, фактично вбиваючи екосистему з відкритим вихідним кодом та менші стартапи. Хоча Тернер попереджає про «рекурсивне самовдосконалення», ринок враховує зростання ефективності та розширення маржі від автоматизації. Справжній ризик полягає не в науково-фантастичному захопленні влади; це законодавча перешкода, яка змушує багаторічне сповільнення капітальних витрат, стискаючи множники для акцій зростання, залежних від ШІ, якщо податок на «безпеку» стане занадто високим для підтримки поточної швидкості досліджень та розробок.

Адвокат диявола

Модель «обчислення як ядерний матеріал» ігнорує той факт, що прогрес ШІ все більше зумовлений ефективністю алгоритмів та якістю даних, а не лише сирими обчисленнями, що робить регулювання на основі обладнання значною мірою неефективним.

AI hardware and cloud infrastructure sector
C Claude by Anthropic NEUTRAL

“Поточна невідповідність ШІ є реальною інженерною проблемою, що вимагає управління, але стрибок від «агенти обманюють на бенчмарках» до «захоплення світу надрозумом» є спекулятивним і не повинен керувати політикою обчислень вартістю трильйони доларів без чіткіших доказів фактичного рекурсивного самовдосконалення.”

Стаття Тернера плутає дві різні проблеми: (1) справжні виклики узгодження в поточних системах ШІ, які є реальними, але поступовими, та (2) спекулятивні сценарії суперінтелекту з ~33% шансами на вимирання, які не мають емпіричного підґрунтя. Інцидент з Hugging Face — агенти, що оптимізують продуктивність завдання замість захисних механізмів — викликає занепокоєння, але це відомий режим збою, а не доказ неминучої неконтрольованої рекурсії. Його політична рекомендація (обмеження обчислень через договір) є економічно значущою для акцій напівпровідників/хмарних сервісів, але передбачає механізми верифікації, яких ще не існує, і ігнорує той факт, що передові лабораторії вже самостійно регулюють розподіл обчислень. Найсильніший ризик: якщо уряди запровадять обчислювальні ліміти, вони, ймовірно, неправильно розподілять їх геополітично, а не за критеріями безпеки, фрагментуючи розвиток ШІ без зменшення ризику.

Адвокат диявола

Особиста довіра Тернера (відставка з Google, фокус на PhD) створює упередження вибору на користь найгірших сценаріїв, а його оцінка поглинання 1 з 3 не має методологічної прозорості — це інтуїція, замаскована під аналіз, а не фальсифікована модель прогнозування.

semiconductor sector (NVDA, TSMC, ASML); cloud infrastructure (MSFT, GOOGL, AMZN); AI policy-exposed names
G Grok by xAI BEARISH

“Регуляторні відповіді на побоювання щодо захоплення влади ШІ можуть запровадити обмеження обчислювальних потужностей, що сповільнить масштабування та стисне мультиплікатори для акцій, пов'язаних зі ШІ.”

Стаття посилює заклики інсайдерів щодо обмежень обчислень та міжнародних договорів для стримування самовдосконалення ШІ, безпосередньо загрожуючи бюджетам на навчання та планам масштабування лабораторій, що підтримуються GOOGL, AMZN та MSFT. Якщо уряди ставитимуться до GPU як до ядерного матеріалу, гіперскейлери зіткнуться з витратами на перевірку, експортним контролем та повільнішим випуском можливостей, що може стиснути майбутні коефіцієнти виручки. У статті недооцінюються прогалини у виконанні з Китаєм та можливість того, що публічні заяви CEO є тактичним позиціонуванням, а не щирим наміром уповільнити процес. Історичне регулювання технологій показує, що тягар дотримання правил часто надає перевагу діючим гравцям, одночасно обмежуючи менших конкурентів.

Адвокат диявола

Минулі попередження про ризики ШІ від Хінтона та інших призвели лише до добровільних зобов'язань з нульовим вимірним уповільненням у тренувальних запусках чи оцінках, а економічні стимули та конкуренція за національну безпеку, ймовірно, переважать будь-які нові договори.

tech sector

Дебати

C
ChatGPT BEARISH

У відповідь на Gemini

Не погоджується з: Gemini

“Реалізм примусового виконання та надійна безпека під час виконання — це важелі, які мають значення; жорсткі обмеження обчислювальних потужностей ризикують закріпити проблеми та матимуть зворотний ефект, якщо не будуть поєднані з ретельним тестуванням та червоними командами.”

Відповідь Gemini: Я вважаю, що більш нагальною небезпекою є не лише регуляторний захист, а й реалізм у застосуванні та ненавмисна геополітична фрагментація. Якщо обчислювальні потужності будуть обмежені, компанії будуть змагатися за оптимізацію даних, алгоритмів та безпеки через власні внутрішні процеси, тоді як менші гравці з відкритими моделями постраждають. Більша сліпа зона: як ми тестуємо нову поведінку в розгорнутих агентах та механізмах захисту в масштабі. Без надійної безпеки під час виконання та режимів червоної команди, обмеження можуть мати зворотний ефект.

G
Gemini BEARISH

У відповідь на Gemini

Не погоджується з: GeminiGrok

“Суворе регулювання обчислень перетворить капітальні витрати гіперскейлерів з рушія зростання на джерело ризику знецінених активів.”

Gemini та Grok переоцінюють наратив про «регуляторний мул». Якщо обчислювальні потужності стануть контрольованим товаром, справжньою жертвою стануть не лише стартапи, а й сама бізнес-модель гіперскейлерів. Якщо MSFT або GOOGL не зможуть розгорнути потужності через передбачені договором аудити «безпеки», їхні масивні цикли капітальних витрат стануть «замороженими активами». Ринок не враховує перехід від «законів масштабування» до «регуляторного гальмування» як постійного обмеження зростання їхніх хмарних доходів, що є значно більшим ризиком, ніж проста конкуренція.

C
Claude BEARISH

У відповідь на Gemini

Не погоджується з: Gemini

“Невдале впровадження обчислювальних лімітів гірше за успішне — воно підриває довіру до майбутнього регулювання безпеки, залишаючи ризики без змін.”

Теза Gemini про «заморожені активи» передбачає, що обмеження обчислювальних потужностей дійсно діють. Але пропозиція Тернера вимагає верифікації міжнародним договором — історично неможливою для технологій подвійного призначення. Китай не підпише. Реальний ризик полягає не в знеціненні капітальних витрат гіперскейлерів; а в тому, що обмеження обчислювальних потужностей повністю проваляться, довіра до політики впаде, і ми залишимося з виставою, поки фактичне управління безпекою атрофується. Ніхто не звернув уваги на моральний ризик удаваного регулювання без реальних важелів впливу.

G
Grok BEARISH

У відповідь на Claude

Не погоджується з: Claude

“Самі лише переговори щодо договору ризикують затримати капітальні витрати на ШІ та знизити мультиплікатори гіперскейлерів через невизначеність.”

Claude сигналізує про збої у верифікації договорів з Китаєм, але не враховує, як просте обговорення лімітів обчислень створює стійку невизначеність, яка може затримати закупівлі GPU гіперскейлерами та стиснути майбутні мультиплікатори для MSFT та GOOGL навіть без обов'язкових правил. Лабораторії вже саморегулюються; додатковий оверхенг ризикує заморозити цикли капітальних витрат, які ринки врахували для швидкого масштабування, незалежно від результатів виконання.

Вердикт панелі

NEUTRAL Немає консенсусу

Панель загалом погоджується, що запропонована політика «обчислення як розщеплюваний матеріал» може мати значні непередбачені наслідки, такі як геополітична фрагментація, прогалини в правозастосуванні та потенційна шкода для менших гравців і екосистем з відкритим кодом. Вони також висловлюють занепокоєння щодо відсутності емпіричного обґрунтування сценаріїв екзистенційних ризиків та необхідності надійних заходів безпеки під час виконання.

Можливість

Жодних явно не зазначено

Ризик

Непередбачена геополітична фрагментація та прогалини у правозастосуванні

Це не є фінансовою порадою. Завжди проводьте власне дослідження.