Meta AI agent’s instruction causes large sensitive data leak to employees

Agent AI nakazał inżynierowi podjęcie działań, które naraziły dużą ilość poufnych danych Meta na ryzyko ujawnienia niektórym pracownikom, w najnowszym przykładzie, w którym AI powoduje zamieszanie w dużej firmie technologicznej.
Wyciek, który Meta potwierdziła, miał miejsce, gdy pracownik poprosił o wskazówki dotyczące problemu inżynieryjnego na wewnętrznym forum. Agent AI odpowiedział rozwiązaniem, które pracownik wdrożył – powodując, że duża ilość poufnych danych użytkowników i firmy została udostępniona inżynierom przez dwie godziny.
„Dane użytkowników nie zostały nadużywane” – powiedział rzecznik Meta, podkreślając, że błędną poradę mógłby udzielić również człowiek. Incydent, po raz pierwszy poinformował o tym The Information, wywołał poważny wewnętrzny alert bezpieczeństwa w Meta, co firma określiła jako oznakę tego, jak poważnie traktuje ochronę danych.
To naruszenie jest jednym z kilku ostatnich głośnych incydentów spowodowanych rosnącym wykorzystaniem agentów AI w amerykańskich firmach technologicznych. W zeszłym miesiącu raport z Financial Times poinformował, że Amazon doświadczył co najmniej dwóch awarii związanych z wdrożeniem jego wewnętrznych narzędzi AI.
Ponad tuzin pracowników Amazona później porozmawiał z The Guardian o chaotycznym dążeniu firmy do integracji AI we wszystkich elementach ich pracy, co, jak powiedzieli, prowadzi do rażących błędów, niedbałego kodu i obniżonej produktywności.
Technologia, która leży u podstaw wszystkich tych incydentów, agentic AI, szybko ewoluowała w ciągu ostatnich miesięcy. W grudniu, rozwój narzędzia AI do kodowania Anthropic, Claude Code, wywołał powszechne poruszenie ze względu na jego zdolność do autonomicznego rezerwowania biletów do teatru, zarządzania finansami osobistymi, a nawet uprawy roślin.
Wkrótce pojawił się OpenClaw, wirusowy asystent AI, który działał na agentach takich jak ClaudeCode, ale mógł działać całkowicie autonomicznie – na przykład handlując milionami dolarów w kryptowalutach lub masowo usuwając e-maile użytkowników – co doprowadziło do gorących rozmów o nadejściu AGI, czyli ogólnej sztucznej inteligencji, terminie ogólnym dla AI, która jest w stanie zastąpić ludzi w szerokiej liczbie zadań.
W tygodniach, które nastąpiły, rynki akcji wahały się z powodu obaw, że agenci AI zniszczą firmy zajmujące się oprogramowaniem, przekształcą gospodarkę i zastąpią ludzkich pracowników.
Tarek Nseir, współzałożyciel firmy konsultingowej skupionej na tym, jak firmy wykorzystują AI, powiedział, że te incydenty pokazują, że Meta i Amazon znajdują się we „fazach eksperymentalnych” wdrażania agentic AI.
„Naprawdę nie cofnęli się od tych rzeczy i nie dokonali właściwej oceny ryzyka. Gdybyś powierzył tego juniorowi stażyście, nigdy byś nie dał temu stażyście dostępu do wszystkich twoich krytycznych danych HR o poziomie ważności 1” – powiedział.
„Ta luka byłaby bardzo, bardzo oczywista dla Meta z perspektywy, jeśli nie w danym momencie. I to, co mogę powiedzieć i powiem, to Meta eksperymentuje na dużą skalę. Meta jest odważna.”
Jamieson O’Reilly, specjalista ds. bezpieczeństwa, który koncentruje się na budowaniu ofensywnego AI, powiedział, że agenci AI wprowadzają pewien rodzaj błędu, którego ludzie nie popełniają – i może to wyjaśniać incydent w Meta.
Człowiek zna „kontekst” zadania – ukrytą wiedzę, że nie należy, na przykład, rozpalić sofy, aby ogrzać pokój, lub usunąć mało używany, ale kluczowy plik, lub podjąć działania, które naraziłyby dane użytkowników.
Dla agentów AI jest to bardziej skomplikowane. Mają „okna kontekstowe” – rodzaj pamięci roboczej – w której przechowują instrukcje, ale te ustępują, prowadząc do błędów.
„Inżynier, który pracował gdzieś przez dwa lata, porusza się z nagromadzonym poczuciem tego, co jest ważne, co psuje się o 2 w nocy, jaki jest koszt przestoju, które systemy dotykają klientów. To kontekst żyje w nim, w jego pamięci długotrwałej, nawet jeśli nie jest na pierwszym planie” – powiedział O’Reilly.
„Agent, z drugiej strony, nie ma tego, chyba że wyraźnie umieścisz to w poleceniu, a nawet wtedy zaczyna zanikać, chyba że znajduje się to w danych treningowych.”
Nseir powiedział: „Nieuniknione są kolejne błędy.”