Meta AI agent’s instruction causes large sensitive data leak to employees

En AI-agent instruerte en ingeniør til å utføre handlinger som eksponerte en stor mengde av Metas sensitive data for noen av dets ansatte, i det nyeste eksempelet på at AI forårsaker omveltninger i et stort teknologiselskap.
Lekkasjen, som Meta bekreftet, skjedde da en ansatt ba om veiledning om et ingeniørproblem på et internt forum. En AI-agent svarte med en løsning, som ansatte implementerte – og som forårsaket at en stor mengde sensitiv bruker- og selskapdata ble eksponert for dets ingeniører i to timer.
«Ingen brukerdata ble misbrukt», sa en Meta-talsperson, og de understreket at en menneske også kunne gi feilaktig råd. Hendelsen, som først ble rapportert av The Information, utløste en stor intern sikkerhetsalarm i Meta, som selskapet har sagt er en indikasjon på hvor alvorlig det tar datasikkerhet.
Dette bruddet er en av flere nylige høyt profilerte hendelser forårsaket av økende bruk av AI-agenter i amerikanske teknologiselskaper. I forrige måned sa en rapport fra Financial Times at Amazon opplevde minst to driftsstans relatert til utplasseringen av sine interne AI-verktøy.
Mer enn halvparten av Amazons ansatte snakket senere med Guardian om selskapets uorganiserte satsing på å integrere AI i alle elementer av deres arbeid, noe som førte til åpenbare feil, slurvete kode og redusert produktivitet, ifølge dem.
Teknologien som ligger til grunn for alle disse hendelsene, agentisk AI, har utviklet seg raskt de siste månedene. I desember utløste utviklingen i Anthropics AI-kodeverktøy, Claude Code, utbredt oppstyr over dets evne til å autonomt bestille teaterbilletter, administrere privat økonomi og til og med dyrke planter.
Kort tid etter kom OpenClaw, en viral AI-personlig assistent som kjørte på agenter som ClaudeCode, men som kunne operere helt autonomt – for eksempel ved å handle for millioner av dollar i kryptovaluta eller slette brukere e-poster massivt – noe som førte til heftig snakk om fremveksten av AGI, eller kunstig generell intelligens, et samlebegrep for AI som er i stand til å erstatte mennesker for et bredt spekter av oppgaver.
I ukene som fulgte har aksjemarkeder vaklet på grunn av frykt for at AI-agenter vil skade programvarevirksomheter, omforme økonomien og erstatte menneskelige arbeidere.
Tarek Nseir, en medgrunnlegger av et konsulentselskap som fokuserer på hvordan virksomheter bruker AI, sa at disse hendelsene viste at Meta og Amazon var i «eksperimentelle faser» med å distribuere agentisk AI.
«De står egentlig ikke tilbake fra disse tingene og tar en passende risikovurdering. Hvis du setter en juniorintern på dette, ville du aldri gitt den juniorinternen tilgang til alle dine kritiske alvorlighetsgrad 1 HR-data», sa han.
«Sårbarheten ville vært veldig, veldig åpenbar for Meta i ettertid, om ikke i øyeblikket. Og det jeg kan og vil si er at dette er Meta som eksperimenterer i stor skala. Det er Meta som er dristig.»
Jamieson O’Reilly, en sikkerhetsekspert som fokuserer på å bygge offensiv AI, sa at AI-agenter introduserte en viss type feil som mennesker ikke gjør – og dette kan forklare hendelsen i Meta.
Et menneske kjenner «konteksten» til en oppgave – den implisitte kunnskapen om at man ikke for eksempel skal sette sofaen på brann for å varme opp rommet, eller slette en lite brukt, men viktig fil, eller utføre en handling som vil eksponere brukerdata nedstrøms.
For AI-agenter er dette mer komplisert. De har «kontekstvinduer» – en slags arbeidshukommelse – der de bærer instruksjoner, men disse utløper, noe som fører til feil.
«En menneskelig ingeniør som har jobbet et sted i to år går rundt med en akkumulert følelse av hva som betyr noe, hva som feiler klokken 02.00, hva kostnaden ved nedetid er, hvilke systemer som berører kunder. Den konteksten bor i dem, i deres langtidshukommelse, selv om den ikke er foran øynene deres», sa O’Reilly.
«Agenten, derimot, har ingen av det med mindre du eksplisitt legger det inn i prompten, og selv da begynner det å forsvinne med mindre det er i treningsdataene.»
Nseir sa: «Det vil uunngåelig bli flere feil.»