Anthropic twierdzi, że jego najnowszy model AI może ujawniać słabości w zabezpieczeniach oprogramowania

Anthropic we wtorek poinformowało, że jego jeszcze nie wydany model sztucznej inteligencji o nazwie Claude Mythos okazał się wyjątkowo biegły w ujawnianiu słabości oprogramowania.
Mythos ujawnił tysiące luk w powszechnie używanych aplikacjach, dla których nie ma żadnej poprawki ani rozwiązania, co skłoniło kalifornijską firmę startupową zajmującą się sztuczną inteligencją do zawiązania sojuszu ze specjalistami ds. cyberbezpieczeństwa w celu wzmocnienia obrony przed hakowaniem i powstrzymania szerokiej dystrybucji.
„Mamy nowy model, którego wyraźnie nie udostępniamy opinii publicznej” – powiedział Mike Krieger z Anthropic Labs podczas konferencji HumanX AI w San Francisco.
Zamiast tego Anthropic pozwala specjalistom ds. cyberbezpieczeństwa i inżynierom z społeczności open source pracować z Mythos, aby wykorzystać model jako broń obronną „w pewnym sensie uzbroić ich z wyprzedzeniem” – wyjaśnił Krieger.
Postępy w możliwościach modeli AI wiązały się z obawami, że hakerzy będą używać takich narzędzi do odgadzywania haseł lub łamania szyfrowania mającego na celu ochronę danych.
Najstarsza z luk ujawnionych przez Mythos pochodzi sprzed 27 lat i żadna z nich nie została zauważona przez ich twórców, zanim została wskazana przez model AI – według Anthropic.
Mythos to najnowsza generacja rodziny AI Claude firmy Anthropic, a niedawne wycieki fragmentów jego kodu skłoniły startup do opublikowania posta na blogu ostrzegającego o bezprecedensowych zagrożeniach dla cyberbezpieczeństwa.
„Modele AI osiągnęły poziom możliwości kodowania, w którym mogą przewyższać wszystkich poza najbardziej wykwalifikowanymi ludźmi w zakresie znajdowania i wykorzystywania luk w oprogramowaniu” – powiedział Anthropic w poście na blogu. „Konsekwencje – dla gospodarek, bezpieczeństwa publicznego i bezpieczeństwa narodowego – mogą być poważne”.
Luki w oprogramowaniu ujawnione przez Mythos były często subtelne i trudne do wykrycia bez AI – według Anthropic. Jako przykład podano, że Mythos znalazł wcześniej niezauważoną wadę w oprogramowaniu wideo, które było testowane ponad 5 milionów razy przez jego twórców.
Jako środki ostrożności Anthropic udostępnił wersję Mythos firmom zajmującym się cyberbezpieczeństwem CrowdStrike i Palo Alto Networks, a także Amazon, Apple i Microsoft, w projekcie, który nazwał „Glasswing”.
Sieciowi giganci Cisco i Broadcom biorą udział w projekcie, podobnie jak Linux Foundation, która promuje bezpłatny, otwarty system operacyjny Linux.
„Ta praca jest zbyt ważna i zbyt pilna, aby robić ją w pojedynkę” – powiedział Anthony Grieco, dyrektor ds. bezpieczeństwa i zaufania w Cisco, w wspólnym komunikacie prasowym dotyczącym Glasswing. „Możliwości AI przekroczyły próg, który zasadniczo zmienia pilność potrzebną do ochrony krytycznej infrastruktury przed zagrożeniami cybernetycznymi i nie ma odwrotu”.
Uważa się, że około 40 organizacji zaangażowanych w projektowanie, utrzymanie lub obsługę systemów komputerowych dołączyło do Glasswing. Partnerzy projektu mają udostępniać swoje odkrycia dotyczące Mythos – według Anthropic, które zapewnia około 100 milionów dolarów zasobów obliczeniowych na tę misję. Wcześniejsze prace z modelami AI wykazały, że mogą one pomóc w znajdowaniu i naprawianiu luk w oprogramowaniu i sprzęcie w tempie i skali, które wcześniej nie były możliwe – według Grieco.
„Okno między wykryciem luki a jej wykorzystaniem przez przeciwnika się zawęża – to, co kiedyś zajmowało miesiące, teraz dzieje się w ciągu kilku minut dzięki AI” – powiedział Elia Zaitsev, dyrektor ds. technologii w Crowdstrike.
„Claude Mythos Preview demonstruje, co jest teraz możliwe dla obrońców na dużą skalę, a przeciwnicy nieuchronnie będą dążyć do wykorzystania tych samych możliwości” – dodał.
Anthropic poinformowało, że prowadzi rozmowy z rządem USA w sprawie Mythos, pomimo dekrety Białego Domu z lutego o zakończeniu wszystkich kontraktów ze startupem. Dyrektywa ta została wstrzymana przez sędziego federalnego, podczas gdy wyzwanie prawne wniesione przez Anthropic toczy się w sądach.