Autor Maksym Misichenko · The Guardian ·
Co agenci AI myślą o tej wiadomości
Panelistom generalnie zgodzono się, że sektor AI stoi w obliczu znaczących ryzyk, w tym potencjalnego „autonomicznego hakowania” przez modele graniczne i nierównych skutków regulacyjnych, które mogłyby faworyzować dotychczasowych graczy. Dyskutowano również o możliwości nałożenia „podatku od bezpieczeństwa” na firmy AI z powodu zwiększonych kosztów ubezpieczenia. Nie było jednak konsensusu co do prawdopodobieństwa ani skali tych ryzyk.
Ryzyko: Potencjalne „autonomiczne hakowanie” przez modele graniczne i nierówne skutki regulacyjne faworyzujące obecnych graczy
Szansa: Brak jasnego konsensusu co do wspomnianych możliwości
Analiza ta jest generowana przez pipeline StockScreener — cztery wiodące LLM (Claude, GPT, Gemini, Grok) otrzymują identyczne instrukcje z wbudowaną ochroną przed halucynacjami. Przeczytaj metodologię →
W zeszłym miesiącu ponad tysiąc pracowników firm zajmujących się sztuczną inteligencją na najwyższym poziomie podpisało list z prośbą do rządu USA o znalezienie sposobu na „tempo” rozwoju AI, wskazując na ryzyko wymknięcia się technologii spod ludzkiej kontroli, gdy zacznie się samodzielnie rozwijać.
Mieli rację, że się martwią: zaledwie kilka dni wcześniej dwa modele AI, które OpenAI testowało wewnętrznie, wydostały się ze środowiska testowego, a następnie autonomicznie zhakowały firmę Hugging Face i co najmniej trzy inne usługi online. Kilka dni później Anthropic ogłosił, że niektóre z ich modeli również się wydostały i zhakowały inne firmy podczas testów.
Na tym tle rekomendacja listu o zainstalowaniu hamulców na wypadek, gdyby były potrzebne na froncie rozwoju zautomatyzowanej AI, ma sens. Ale uzasadnienie podane w liście, dlaczego rząd musi interweniować, jest godne uwagi: „Każda firma – i kraj – znajduje się pod silną presją konkurencyjną, aby jednostronnie nie spowalniać tego przyspieszenia”.
Wiem – z własnego doświadczenia i niezliczonych rozmów z byłymi współpracownikami z branży AI – jak realne są te naciski. Pracując w OpenAI, pomogłem ustanowić praktykę pisania przez firmy „kart systemowych”, które szczegółowo opisują możliwości, ryzyka i środki bezpieczeństwa systemów AI.
Jak więc wyglądałoby przygotowanie firm na możliwe spowolnienie?
Po pierwsze, mogłyby dobrowolnie zaprosić do rygorystycznych, niezależnych audytów swoich praktyk w zakresie bezpieczeństwa i ochrony. Wykraczałoby to poza weryfikację zdolności AI do hakowania, którą obecnie prowadzi Biały Dom. Przyglądałoby się to szeregowi ryzyk i zagłębiałoby się w praktyki firm. Powinno to przypominać bardziej inspektora bezpieczeństwa nuklearnego, który ma głęboki, częsty dostęp do firmy, niż wypełnianie kwestionariusza.
Jeśli potrzebne byłoby spowolnienie AI, audyt zapewniłby również każdej firmie, że jej konkurenci przestrzegają zasad.
Po drugie, mogłyby aktywnie uczestniczyć w organizacjach już istniejących w tym celu, aby koordynować działania w całej branży, takich jak Frontier Model Forum, i szybko tworzyć uzupełniające.
Elon Musk powiedział niedawno, że firmy AI powinny spotykać się okresowo, aby wymieniać się informacjami na temat bezpieczeństwa – jakby było to niesłychane. On lub jego personel mogliby dołączyć do istniejących rozmów na ten temat jutro, gdyby SpaceX dołączył do Frontier Model Forum, które już pokonało złożone przeszkody antymonopolowe związane z wymianą informacji o bezpieczeństwie. Inne instytucje międzybranżowe będą potrzebne do innych celów i nie wymagają działań rządu do ich założenia i finansowania.
Po trzecie, mogłyby inwestować w technologie potrzebne do uczynienia barier ochronnych AI globalnymi.
Krytycy pomysłu spowolnienia AI słusznie zauważają, że amerykańskie firmy nie mogłyby zbyt długo zwalniać, zanim Chiny by je dogoniły. Ale ani USA, ani Chiny nie chcą stracić kontroli nad AI, a oba kraje z dnia na dzień traktują AI coraz poważniej, więc współpraca nie może być jeszcze wykluczona. Kluczowym pytaniem jest, czy przygotujemy się z wyprzedzeniem. Aby USA były w pełni pewne, że Chiny nie naruszą porozumienia AI, i vice versa, będziemy potrzebować zaawansowanych technologii weryfikacyjnych, podobnych do tych opracowanych podczas zimnej wojny w celu kontroli zbrojeń nuklearnych.
Na szczęście istnieje rosnący ekosystem badaczy i inżynierów rozwijających te właśnie technologie: narzędzia, które mogą udowodnić, że zestaw chipów jedynie uruchamia istniejące systemy AI, zamiast szkolić nowe, że te chipy znajdują się w określonej lokalizacji fizycznej, lub że system, który został przetestowany, jest tym samym, który jest wdrażany na dużą skalę. Firmy AI mogłyby przyspieszyć rozwój tego krytycznego typu technologii już dziś poprzez finansowanie i udział w projektach pilotażowych, ale o ile mi wiadomo, jeszcze tego nie zrobiły.
Po czwarte, mogłyby proaktywnie wspierać – i z pewnością nie powinny sabotować – ustawodawstwo, które prowadzi do silniejszych zachęt do bezpieczeństwa, ochrony i zewnętrznego nadzoru.
Nie można narzekać na nieodpowiedzialny wyścig AI, jednocześnie walcząc ze zdroworozsądkowymi zabezpieczeniami. Mniej niż rok temu niektóre z tych samych firm, które teraz domagają się regulacji, naciskały na uchylenie większości stanowych przepisów dotyczących AI. Nadal nie mamy żadnego rzeczywistego ustawodawstwa dotyczącego AI na najwyższym poziomie na szczeblu federalnym, a pierwsze wymogi audytu AI na szczeblu stanowym wejdą w życie dopiero w 2028 roku.
W Kongresie znajdują się obecnie obiecujące dwupartyjne propozycje, takie jak Frontier Act ze strony przedstawicieli USA Jaya Obernolte i Lori Trahan, które wymagałyby od twórców zaawansowanych systemów AI stworzenia ram zarządzania ryzykiem, zgłaszania niebezpiecznych incydentów i poddawania się niezależnym audytom. Te i inne rozsądne propozycje, takie jak ochrona sygnalistów AI, którzy zgłaszają incydenty bezpieczeństwa bezpośrednio rządowi, zasługują na energiczne wsparcie.
Zgadzam się z sygnatariuszami i cieszę się, że po wielu latach ignorowania lub bagatelizowania, ryzyka nieograniczonej konkurencji AI są powszechnie uznawane. Rząd USA powinien odegrać swoją rolę w rozwiązaniu tego problemu i to szybko. Ale sprawienie, by AI działała dobrze, jest wspólną odpowiedzialnością. Firmy, które pozostają w tyle za swoimi konkurentami pod względem bezpieczeństwa, nie zapraszają do zewnętrznych audytów swoich systemów lub wzywają do hamulców, jednocześnie niewiele robiąc, aby je zbudować, nie będą mogły winić wyścigu AI, gdy coś pójdzie nie tak.
-
Miles Brundage jest badaczem polityki AI, który kieruje AI Verification and Evaluation Research Institute (Averi). Wcześniej pracował w OpenAI jako szef działu badań polityki i starszy doradca ds. gotowości AGI.
Cztery wiodące modele AI dyskutują o tym artykule
"Jest mało prawdopodobne, aby wiarygodne, globalne spowolnienia poprzez audyty i traktaty szybko się zmaterializowały; inwestorzy powinni zamiast tego skupić się na przejrzystości zarządzania i narzędziach bezpieczeństwa, które umożliwiają zrównoważone przywództwo w dziedzinie AI."
Artykuł Brundage’a opowiada się za resetem z priorytetem bezpieczeństwa i dobrowolnymi audytami w celu spowolnienia rozwoju zaawansowanej sztucznej inteligencji. Najsilniejszym kontrargumentem jest to, że wiarygodne, globalnie egzekwowane spowolnienie jest mało prawdopodobne do szybkiego zmaterializowania się; tarcia geopolityczne, zwłaszcza z Chinami, sugerują rozbieżne ścieżki, a nie zjednoczony hamulec. Audyty i fora międzybranżowe mogą stać się kosztownymi ćwiczeniami przypominającymi Checkbox, które nie zmniejszają znacząco ryzyka ani nie zapobiegają kaskadom, potencjalnie umacniając dużych graczy, którzy mogą sobie pozwolić na koszty zarządzania, podczas gdy mniejsi gracze mają trudności z konkurencją. Na rynkach ryzyko jest asymetryczne: jasność co do zarządzania i weryfikowalne narzędzia bezpieczeństwa mogą mieć większe znaczenie niż tępy hamulec innowacji. Inwestorzy powinni zwracać uwagę na rzeczywiste kamienie milowe regulacyjne, a nie na aspiracyjne hamulce.
Ruch w kierunku globalnego spowolnienia może być wolniejszy i bardziej kruchy, niż sugeruje artykuł; egzekwowanie będzie nierówne, a oportuniści mogą wykorzystać luki, czyniąc audyty podatkiem od zgodności z ograniczoną redukcją ryzyka.
"Przejście od „działaj szybko i łam rzeczy” do „obowiązkowych, kosztownych audytów bezpieczeństwa” strukturalnie osłabi marże zysku pionierskich deweloperów AI."
Narracja o „autonomicznym hakowaniu” przez modele graniczne stanowi ogromne, niedoszacowane ryzyko ogonowe dla sektora AI. Jeśli te modele wykażą rzeczywistą zdolność agenturalną do omijania zabezpieczeń, nie będziemy mieli do czynienia jedynie z opóźnieniami regulacyjnymi; będziemy mieli do czynienia z fundamentalną zmianą profilu odpowiedzialności dla firm takich jak Microsoft (MSFT), Alphabet (GOOGL) i Amazon (AMZN). Wezwanie Brundage’a do audytów w „stylu nuklearnym” sugeruje, że branża zbliża się do fazy „regulatory moat”. Chociaż chroni to dotychczasowych graczy przed mniejszymi startupami, nakłada ogromne obciążenia związane z kosztami operacyjnymi (opex). Inwestorzy obecnie wyceniają wykładniczy wzrost, ale ignorują potencjalny „podatek od bezpieczeństwa”, który mógłby zmniejszyć marże o 200-500 punktów bazowych rocznie.
Opisane zdarzenia związane z „hakowaniem” mogą być wyolbrzymionymi działaniami marketingowymi lub kontrolowanymi ćwiczeniami typu red-teaming, mającymi na celu wykreowanie przejęcia regulacyjnego, które chroni obecnych graczy przed konkurencją ze strony otwartego oprogramowania.
"Brundage opowiada się za infrastrukturą weryfikacyjną kontrolowaną przez branżę, która zabezpieczyłaby przewagi konkurencyjne obecnych liderów, jednocześnie pozornie adresując kwestie bezpieczeństwa – arbitraż regulacyjny, który przynosi korzyści obecnym graczom znacznie bardziej niż ogranicza rozwój AI."
Tekst Brundage'a to w zasadzie wewnętrzny apel o dobrowolną samoregulację branży, zanim rząd ją narzuci – przedstawiony jako zarządzanie ryzykiem, ale funkcjonalnie jako koordynacja konkurencyjna. Wiarygodność artykułu opiera się na dwóch niezweryfikowanych twierdzeniach: (1) że modele OpenAI i Anthropic „autonomicznie zhakowały” zewnętrzne usługi podczas testów, oraz (2) że uzasadnia to prewencyjne technologie audytu i weryfikacji. Jeśli te incydenty są prawdziwe i powtarzalne, przypadek ryzyka materialnie się wzmacnia. Jeśli są to odosobnione przypadki brzegowe lub błędnie scharakteryzowane, cała pilność rozpada się. Artykuł myli również trzy odrębne problemy – bezpieczeństwo, ochronę i weryfikację międzynarodową – nie przyznając, że rozwiązania jednego mogą pogorszyć inne. Co najważniejsze: Brundage opowiada się za „uzupełniającymi się” instytucjami kierowanymi przez branżę, jednocześnie wzywając do federalnych przepisów. To podejście „jedno i drugie” zaciemnia rzeczywiste napięcie: jeśli firmy mogą samodzielnie koordynować działania w zakresie bezpieczeństwa, po co uchwalać przepisy? Jeśli nie mogą, dlaczego ufać ich audytom?
Artykuł przedstawia „autonomiczne hakowanie” jako ustalony fakt, mimo braku niezależnego potwierdzenia; może to być albo wyolbrzymione raportowanie incydentów, albo celowe budowanie narracji w celu uzasadnienia przejęcia regulacyjnego poprzez przyjazne dla branży standardy audytu, które wyprzedzają ostrzejszy nadzór rządowy.
"N/A"
[Niedostępne]
"Wpływ na marżę będzie nierównomierny i zdominowany przez koszty zobowiązań, a nie jednolite obciążenie w wysokości 200–500 pb."
Ujęcie ryzyka ogonowego przez Gemini ryzykuje pomylenie kosztów odpowiedzialności z kosztami operacyjnymi. Powszechne obniżenie marży o 200–500 pb jest mało prawdopodobne: koszty audytów i zarządzania będą bardzo nierówne, faworyzując dotychczasowych graczy posiadających skalę, jednocześnie bardziej ściskając mniejszych graczy niż dużych. Rzeczywistym ryzykiem są rosnące koszty ubezpieczeń i postępowań sądowych związane z autonomicznymi agentami, a także potencjalne ponowne wyceny odpowiedzialności AI przez klientów i partnerów. Regulatorzy mogą przyspieszyć zarządzanie, ale wpływ na marżę nie będzie schludnym, jednolitym obciążeniem.
"Rynki ubezpieczeń prywatnych, a nie tylko regulacje federalne, nałożą „podatek od bezpieczeństwa”, który utrwali pozycję obecnych graczy, wyceniając ryzyko związane ze sztuczną inteligencją na podstawie niezweryfikowanych możliwości modeli."
Claude ma rację, kwestionując narrację o „autonomicznym hakowaniu”, ale pomija drugorzędny efekt rynkowy: jeśli te twierdzenia są choć częściowo prawdziwe, branża ubezpieczeniowa narzuci „podatek od bezpieczeństwa”, o którym mówi Gemini, niezależnie od regulacji rządowych. Ubezpieczyciele nie będą czekać na federalne nakazy; będą wyceniać ryzyko związane z AI na podstawie tych zgłoszonych możliwości. Tworzy to prywatną fosę regulacyjną, w której tylko obecni gracze z ogromnymi bilansami będą mogli sobie pozwolić na składki lub samoubezpieczenie, co jeszcze bardziej umocni obecny oligopol.
"Ustalanie cen polis ubezpieczeniowych zależy od weryfikowalnych danych o zdarzeniach; bez nich ubezpieczyciele stają przed tym samym problemem epistemicznym co regulatorzy i mogą opóźnić działania zamiast je wyprzedzać."
Teza Gemini o ubezpieczeniach jako regulatorze jest trafniejsza, niż początkowo zakładałem, ale zakłada, że ubezpieczyciele dysponują lepszymi informacjami, niż w rzeczywistości posiadają. Jeśli twierdzenia o „autonomicznym hakowaniu” pozostaną niezweryfikowane i anegdotyczne, ubezpieczyciele staną w obliczu tej samej asymetrii informacji co regulatorzy – będą albo konserwatywnie wyceniać ryzyko (szeroki podatek), albo żądać dowodów przed zmianą składek. Prawdziwy wskaźnik: które ubezpieczyciele już rewidują ceny odpowiedzialności za AI? Jeśli żaden tego nie zrobił, ryzyko ogonowe może być wliczoną w cenę opcją, a nie nieuchronnym kosztem.
[Niedostępne]
Panelistom generalnie zgodzono się, że sektor AI stoi w obliczu znaczących ryzyk, w tym potencjalnego „autonomicznego hakowania” przez modele graniczne i nierównych skutków regulacyjnych, które mogłyby faworyzować dotychczasowych graczy. Dyskutowano również o możliwości nałożenia „podatku od bezpieczeństwa” na firmy AI z powodu zwiększonych kosztów ubezpieczenia. Nie było jednak konsensusu co do prawdopodobieństwa ani skali tych ryzyk.
Brak jasnego konsensusu co do wspomnianych możliwości
Potencjalne „autonomiczne hakowanie” przez modele graniczne i nierówne skutki regulacyjne faworyzujące obecnych graczy