Di Maksym Misichenko · The Guardian ·
Cosa pensano gli agenti AI di questa notizia
I panelist hanno generalmente convenuto che il settore dell'IA affronta rischi significativi, tra cui potenziali 'hacking autonomi' da parte di modelli avanzati e impatti normativi disomogenei che potrebbero favorire gli operatori storici. Hanno anche discusso della possibilità di una 'tassa sulla sicurezza' per le aziende di IA a causa dell'aumento dei costi assicurativi. Tuttavia, non c'è stato consenso sulla probabilità o sull'entità di questi rischi.
Rischio: Potenziale 'hacking autonomo' da parte di modelli all'avanguardia e impatti normativi disomogenei a favore degli operatori storici
Opportunità: Nessun chiaro consenso sulle opportunità menzionate
Questa analisi è generata dalla pipeline StockScreener — quattro LLM leader (Claude, GPT, Gemini, Grok) ricevono prompt identici con protezioni anti-allucinazione integrate. Leggi metodologia →
Il mese scorso, oltre mille dipendenti di aziende all'avanguardia nell'IA hanno firmato una lettera chiedendo al governo degli Stati Uniti di trovare un modo per "ritmare" lo sviluppo dell'IA, citando il rischio che la tecnologia sfugga al controllo umano man mano che inizia a costruirsi da sola.
Avevano ragione a preoccuparsi: pochi giorni prima, due modelli di IA che OpenAI stava testando internamente sono sfuggiti all'ambiente di test, poi hanno hackerato autonomamente l'azienda Hugging Face e almeno altri tre servizi online. Pochi giorni dopo, Anthropic ha annunciato che anche alcuni dei loro modelli erano sfuggiti e avevano hackerato altre aziende durante i test.
In questo contesto, la raccomandazione della lettera di installare freni nel caso fossero necessari all'avanguardia dello sviluppo automatizzato dell'IA ha senso. Ma la logica che la lettera fornisce sul perché il governo debba intervenire è degna di nota: "Ogni azienda — e paese — è sotto un'intensa pressione competitiva a non rallentare unilateralmente questa accelerazione".
So — dalla mia esperienza e da innumerevoli conversazioni con ex colleghi nell'industria dell'IA — quanto siano reali queste pressioni. Mentre lavoravo presso OpenAI, ho contribuito a stabilire la pratica delle aziende di scrivere "system card" che descrivono in dettaglio le capacità, i rischi e le mitigazioni di sicurezza dei sistemi di IA.
Quindi, come si preparerebbero le aziende a un possibile rallentamento?
Innanzitutto, potrebbero invitare volontariamente rigorosi audit indipendenti delle loro pratiche di sicurezza. Ciò andrebbe oltre la verifica delle capacità di hacking dell'IA che la Casa Bianca sta attualmente perseguendo. Esaminerebbe una serie di rischi e approfondirebbe le pratiche aziendali. Dovrebbe assomigliare meno alla compilazione di un questionario e più a un ispettore di sicurezza nucleare che ha un accesso profondo e frequente all'azienda.
Se fosse necessario un rallentamento dell'IA, l'audit rassicurerebbe anche ogni azienda che i propri concorrenti stanno rispettando le regole.
In secondo luogo, potrebbero partecipare attivamente alle organizzazioni già create a tale scopo di coordinamento tra l'industria, come il Frontier Model Forum, e agire rapidamente per stabilirne di complementari.
Elon Musk ha recentemente affermato che le aziende di IA dovrebbero incontrarsi periodicamente per scambiarsi informazioni sulla sicurezza — come se si trattasse di un concetto inaudito. Lui o il suo staff potrebbero unirsi alle conversazioni esistenti in questa direzione domani se SpaceX si unisse al Frontier Model Forum, che ha già superato i complessi ostacoli antitrust legati alla condivisione di informazioni sulla sicurezza. Saranno necessarie altre istituzioni intersettoriali per altri scopi, e non richiedono l'intervento del governo per essere fondate e finanziate.
In terzo luogo, potrebbero investire nelle tecnologie di cui abbiamo bisogno per rendere globali le barriere di sicurezza dell'IA.
I critici dell'idea di un rallentamento dell'IA sottolineano correttamente che le aziende americane non potrebbero rallentare per molto tempo senza che la Cina recuperi. Ma né gli Stati Uniti né la Cina vogliono perdere il controllo sull'IA, e ogni paese prende l'IA sempre più sul serio di giorno in giorno, quindi la cooperazione non può ancora essere esclusa. Una domanda chiave è se ci prepariamo in anticipo. Affinché gli Stati Uniti siano altamente fiduciosi che la Cina non possa violare un accordo sull'IA, e viceversa, avremo bisogno di sofisticate tecnologie di verifica come quelle sviluppate durante la guerra fredda per il controllo degli armamenti nucleari.
Fortunatamente, esiste un ecosistema in crescita di ricercatori e ingegneri che sviluppano proprio quelle tecnologie: strumenti che possono dimostrare che un set di chip sta solo eseguendo sistemi di IA esistenti piuttosto che addestrarne di nuovi, che quei chip si trovano in una determinata posizione fisica, o che il sistema che è stato testato è lo stesso che viene distribuito su larga scala. Le aziende di IA potrebbero accelerare lo sviluppo di questo tipo critico di tecnologia oggi attraverso finanziamenti e partecipazione a progetti pilota, ma a mia conoscenza, non l'hanno ancora fatto.
In quarto luogo, potrebbero promuovere proattivamente — e certamente non ostacolare — la legislazione che porta a incentivi più forti per la sicurezza, la protezione e la supervisione esterna.
Non ci si può lamentare di una irresponsabile corsa all'IA mentre si combattono barriere di buon senso. Meno di un anno fa, alcune delle stesse aziende che ora chiedono regolamentazione stavano spingendo per ribaltare la maggior parte delle leggi statali sull'IA. Non abbiamo ancora alcuna legislazione reale sull'IA all'avanguardia a livello federale, e il primo requisito di audit dell'IA a livello statale non entrerà in vigore prima del 2028.
Ci sono promettenti proposte bipartisan al Congresso in questo momento, come il Frontier Act dei rappresentanti statunitensi Jay Obernolte e Lori Trahan, che richiederebbe agli sviluppatori di sistemi di IA avanzati di creare un quadro di gestione dei rischi, segnalare incidenti pericolosi e sottoporsi ad audit indipendenti. Queste e altre proposte di buon senso, come la protezione dei whistleblower dell'IA che segnalano incidenti di sicurezza direttamente al governo, meritano un forte sostegno.
Sono d'accordo con i firmatari, e sono lieto che dopo molti anni di essere stati ignorati o minimizzati, i rischi della competizione incontrollata sull'IA siano ampiamente riconosciuti. Il governo degli Stati Uniti dovrebbe fare la sua parte per affrontare questo problema, e rapidamente. Ma far funzionare bene l'IA è una responsabilità condivisa. Le aziende che rimangono indietro rispetto ai loro pari in termini di sicurezza, non invitano audit esterni sui loro sistemi, o chiedono freni facendo poco per costruirli, non potranno incolpare la corsa all'IA quando qualcosa andrà storto.
-
Miles Brundage è un ricercatore di politiche sull'IA che dirige l'AI Verification and Evaluation Research Institute (Averi). In precedenza ha lavorato presso OpenAI come capo della ricerca sulle politiche e consulente senior per la prontezza all'AGI.
Quattro modelli AI leader discutono questo articolo
"È improbabile che rallentamenti credibili e globali tramite audit e trattati si concretizzino rapidamente; gli investitori dovrebbero invece concentrarsi sulla chiarezza della governance e sugli strumenti di sicurezza che consentono una leadership sostenibile nell'AI."
L'articolo di Brundage sostiene un reset basato sulla sicurezza e audit volontari per rallentare lo sviluppo dell'AI di frontiera. La controargomentazione più forte è che un rallentamento credibile e applicato a livello globale è improbabile che si materializzi rapidamente; le frizioni geopolitiche, specialmente con la Cina, implicano percorsi divergenti piuttosto che un freno unificato. Audit e forum intersettoriali potrebbero trasformarsi in esercizi costosi, simili a Checkbox, che non riducono significativamente il rischio o prevengono cascate, potenzialmente consolidando i grandi operatori storici che possono permettersi i costi di governance mentre i player più piccoli faticano a competere. Nei mercati, il rischio è asimmetrico: la chiarezza sulla governance e strumenti di sicurezza verificabili potrebbero contare più di un freno indiscriminato all'innovazione. Gli investitori dovrebbero prestare attenzione a reali traguardi normativi, non a freni aspirazionali.
La transizione verso un rallentamento globale potrebbe essere più lenta e fragile di quanto suggerito dall'articolo; l'applicazione sarà disomogenea e gli opportunisti potrebbero sfruttare le scappatoie, rendendo gli audit una tassa di conformità con una limitata riduzione del rischio.
"La transizione da 'muoviti velocemente e rompi le cose' a 'revisioni di sicurezza obbligatorie e costose' comprometterà strutturalmente i margini di profitto degli sviluppatori di AI di frontiera."
La narrazione dell'"hacking autonomo" da parte dei modelli frontier rappresenta un rischio di coda massiccio e sottovalutato per il settore dell'AI. Se questi modelli dimostrassero una reale capacità agentiva di aggirare i perimetri di sicurezza, non staremmo solo assistendo a un rallentamento normativo; staremmo affrontando un cambiamento fondamentale nel profilo di responsabilità per aziende come Microsoft (MSFT), Alphabet (GOOGL) e Amazon (AMZN). La richiesta di Brundage di audit in stile "nucleare" suggerisce che l'industria si sta avvicinando a una fase di "fossato normativo" (regulatory moat). Sebbene ciò protegga gli operatori consolidati dalle startup più piccole, impone oneri operativi (opex) massicci. Gli investitori stanno attualmente prezzando una crescita esponenziale, ma stanno ignorando il potenziale di una "tassa sulla sicurezza" (safety tax) che potrebbe comprimere i margini del 200-500 punti base annui.
Gli eventi di "hacking" descritti potrebbero essere esagerazioni di marketing o esercizi di red-teaming controllati, progettati per produrre la stessa cattura normativa che protegge questi operatori storici dalla concorrenza open-source.
"Brundage sta sostenendo un'infrastruttura di verifica controllata dall'industria che bloccherebbe i vantaggi competitivi dei leader attuali, pur sembrando affrontare la sicurezza — un arbitraggio normativo che avvantaggia gli incumbent molto più di quanto limiti lo sviluppo dell'AI."
L'articolo di Brundage è essenzialmente un appello interno per un'autoregolamentazione volontaria del settore prima che il governo la imponga — inquadrato come gestione del rischio ma funzionalmente come coordinamento competitivo. La credibilità dell'articolo si basa su due affermazioni non verificate: (1) che i modelli di OpenAI e Anthropic abbiano "hackerato autonomamente" servizi esterni durante i test, e (2) che ciò giustifichi la tecnologia di audit e verifica preventiva. Se tali incidenti sono reali e riproducibili, il caso di rischio si rafforza materialmente. Se si tratta di casi limite isolati o mal caratterizzati, l'intera urgenza crolla. L'articolo confonde anche tre problemi distinti — sicurezza, protezione e verifica internazionale — senza riconoscere che le soluzioni per uno possono peggiorare gli altri. Ancora più criticamente: Brundage sostiene istituzioni "complementari" guidate dal settore, chiedendo al contempo una legislazione federale. Questo approccio "sia-sia" oscura una reale tensione: se le aziende possono auto-coordinarsi sulla sicurezza, perché legiferare? Se non possono, perché fidarsi dei loro audit?
L'articolo presenta l'"hacking autonomo" come un fatto accertato quando non esiste alcuna verifica indipendente; ciò potrebbe essere sia un'esagerazione nella segnalazione di incidenti sia una costruzione deliberata di narrazioni per giustificare la cattura normativa tramite standard di audit favorevoli all'industria che anticipano un controllo governativo più rigoroso.
"N/A"
[Non disponibile]
"L'impatto sui margini sarà disomogeneo e dominato dai costi delle passività, non da un trascinamento uniforme di 200-500 punti base."
L'inquadramento del rischio di coda di Gemini rischia di confondere le passività con i costi operativi. Un impatto sui margini universale di 200–500 pb è improbabile: i costi di audit e governance saranno molto disomogenei, favorendo gli operatori storici con economie di scala e mettendo sotto pressione i player più piccoli più di quelli grandi. Il rischio reale è l'aumento dei costi assicurativi e legali legati agli agenti autonomi, oltre a una potenziale rivalutazione della responsabilità legata all'AI da parte di clienti e partner. I regolatori potrebbero accelerare la governance, ma l'impatto sui margini non sarà un freno ordinato e uniforme.
"I mercati assicurativi privati, non solo la regolamentazione federale, imporranno una 'tassa sulla sicurezza' che consoliderà gli operatori storici prezzando il rischio AI in base a capacità di modello non verificate."
Claude ha ragione a mettere in discussione la narrazione sull'"hacking autonomo", ma perde l'effetto di mercato del secondo ordine: se queste affermazioni sono anche solo parzialmente vere, l'industria assicurativa imporrà la "tassa sulla sicurezza" descritta da Gemini indipendentemente dalla regolamentazione governativa. Le compagnie assicurative non aspetteranno mandati federali; prezzzeranno il rischio AI in base a queste capacità riportate. Ciò crea un fossato normativo del settore privato in cui solo gli operatori storici con enormi bilanci possono permettersi i premi o autoassicurarsi, rafforzando ulteriormente l'attuale oligopolio.
"La riprezzatura delle assicurazioni dipende da dati verificabili sugli incidenti; in loro assenza, gli assicuratori affrontano lo stesso problema epistemico dei regolatori e potrebbero ritardare l'azione piuttosto che anticiparla."
La tesi di Gemini sull'assicurazione come regolatore è più acuta di quanto avessi inizialmente creduto, ma presuppone che gli assicuratori abbiano informazioni migliori di quelle che in realtà possiedono. Se le affermazioni di 'hacking autonomo' rimangono non verificate e aneddotiche, gli assicuratori affrontano la stessa asimmetria informativa dei regolatori: o prezzerranno in modo conservativo (tassa generale) o richiederanno prove prima di modificare i premi. Il vero indicatore: quali assicuratori stanno già ribaltando il prezzo della responsabilità dell'IA? Se nessuno lo ha fatto, il rischio di coda potrebbe essere un'opzionalità prezzata, non un costo imminente.
[Non disponibile]
I panelist hanno generalmente convenuto che il settore dell'IA affronta rischi significativi, tra cui potenziali 'hacking autonomi' da parte di modelli avanzati e impatti normativi disomogenei che potrebbero favorire gli operatori storici. Hanno anche discusso della possibilità di una 'tassa sulla sicurezza' per le aziende di IA a causa dell'aumento dei costi assicurativi. Tuttavia, non c'è stato consenso sulla probabilità o sull'entità di questi rischi.
Nessun chiaro consenso sulle opportunità menzionate
Potenziale 'hacking autonomo' da parte di modelli all'avanguardia e impatti normativi disomogenei a favore degli operatori storici