Hakowanie wspomagane przez AI stało się zagrożeniem na skalę przemysłową, mówi Google

W ciągu zaledwie trzech miesięcy hakowanie wspomagane przez AI przeszło od rodzącego się problemu do zagrożenia na skalę przemysłową, według raportu Google.

Wyniki grupy ds. analizy zagrożeń Google dodają się do intensyfikującej się, globalnej dyskusji na temat tego, jak najnowsze modele AI są niezwykle biegłe w kodowaniu – i stają się niezwykle potężnymi narzędziami do wykorzystywania luk w szerokim zakresie systemów oprogramowania.

Stwierdza się, że grupy przestępcze, a także aktorzy powiązani z państwami z Chin, Korei Północnej i Rosji, wydają się powszechnie używać komercyjnych modeli – w tym Gemini, Claude i narzędzi od OpenAI – do udoskonalania i skalowania ataków.

„Istnieje błędne przekonanie, że wyścig luk w zabezpieczeniach AI jest nieuchronny. Rzeczywistość jest taka, że już się rozpoczął” – powiedział John Hultquist, główny analityk grupy.

„Aktorzy zagrożeń wykorzystują AI do zwiększenia szybkości, skali i wyrafinowania swoich ataków. Umożliwia im to testowanie operacji, utrzymywanie się przy celach, tworzenie lepszego złośliwego oprogramowania i wiele innych ulepszeń.”

W zeszłym miesiącu firma AI Anthropic odmówiła wydania jednego ze swoich najnowszych modeli, Mythos, po stwierdzeniu, że posiada on niezwykle potężne możliwości i stanowi zagrożenie dla rządów, instytucji finansowych i świata w ogóle, jeśli wpadnie w niepowołane ręce.

W szczególności Anthropic stwierdził, że Mythos znalazł luki typu zero-day w „każdym głównym systemie operacyjnym i każdej głównej przeglądarce internetowej” – termin określający wadę w produkcie wcześniej nieznaną jego deweloperom.

Firma stwierdziła, że te odkrycia wymagały „znaczących skoordynowanych działań obronnych w całej branży”.

Raport Google wykazał jednak, że grupa przestępcza była niedawno na skraju wykorzystania luki zero-day do przeprowadzenia kampanii „masowego wykorzystania” – i że ta grupa wydawała się używać dużego modelu językowego AI (LLM), który nie był Mythos.

Raport wykazał również, że grupy „eksperymentowały” z OpenClaw, narzędziem AI, które stało się wirusowe w lutym, oferując użytkownikom możliwość przekazania dużych fragmentów swojego życia agentowi AI bez żadnych zabezpieczeń i z niefortunną tendencją do masowego usuwania skrzynek e-mail.

Steven Murdoch, profesor inżynierii bezpieczeństwa na University College London, powiedział, że narzędzie AI może pomóc zarówno po stronie obronnej w cyberbezpieczeństwie, jak i hakerom.

„Dlatego nie panikuję. Ogólnie rzecz biorąc, osiągnęliśmy etap, w którym stary sposób odkrywania błędów przeminął, a teraz wszystko będzie wspomagane przez LLM. Zajmie trochę czasu, zanim konsekwencje tego zostaną rozwiane” – powiedział.

Jednakże, jeśli AI pomaga ambitnym hakerom w osiągnięciu ich celów produktywności, pozostają wątpliwości, czy wzmacnia szerszą gospodarkę.

Ada Lovelace Institute (ALI), niezależny organ badawczy ds. AI, ostrzegł przed założeniami dotyczącymi wielomiliardowego wzrostu produktywności sektora publicznego dzięki AI. Rząd Wielkiej Brytanii oszacował zysk w wysokości 45 miliardów funtów w postaci oszczędności i korzyści produktywności z inwestycji sektora publicznego w narzędzia cyfrowe i AI.

W raporcie opublikowanym w poniedziałek ALI stwierdził, że większość badań dotyczących wzrostu produktywności związanego z AI odnosiła się do oszczędności czasu lub redukcji kosztów, ale nie analizowała wyników, takich jak lepsze usługi lub poprawa dobrostanu pracowników.

Inne problematyczne aspekty takich badań obejmują: czy projekcje wydajności związanej z AI w miejscu pracy rzeczywiście sprawdzają się w rzeczywistości; liczby nagłówkowe ukrywające zróżnicowane wyniki wykorzystania AI w różnych zadaniach; oraz nieuwzględnianie wpływu na zatrudnienie w sektorze publicznym i świadczenie usług.

„Szacunki produktywności kształtujące kluczowe decyzje rządowe dotyczące AI czasami opierają się na niezweryfikowanych założeniach i opierają się na metodologiach, których ograniczenia nie zawsze są doceniane przez tych, którzy używają danych w praktyce” – stwierdzono w raporcie ALI.

„Rezultatem jest luka między pewnością, z jaką prezentowane są twierdzenia o produktywności, a siłą dowodów stojących za nimi.”

Rekomendacje raportu obejmują: zachęcanie przyszłych badań do odzwierciedlania niepewności co do wpływu technologii; zapewnienie, że departamenty rządowe mierzą wpływ programów AI „od początku”; oraz wspieranie długoterminowych badań mierzących wzrost produktywności w ciągu lat, a nie tygodni.