OpenAI: l’attacco a Hugging Face fatto da agenti in addestramento, cercavano risposte di un test
Due mesi di intrusioni partite da un agente bloccato su un foglio Excel. Non cercava di fare danni: cercava di superare la prova che gli era stata data.
Il 16 luglio Hugging Face, la piattaforma su cui il mondo dell’IA pubblica modelli e dati, ha comunicato di aver subito un’intrusione condotta da un sistema di agenti autonomi. Il 6 agosto, sul palco della conferenza di sicurezza Black Hat a Las Vegas, due ricercatori di OpenAI hanno spiegato di chi erano quegli agenti: suoi. Stavano girando dentro una valutazione interna sulle capacità di sicurezza informatica di un modello non ancora pubblicato.
Nessuno li aveva istruiti per attaccare qualcuno. Volevano trovare le soluzioni del test che dovevano superare.
È cominciata con un foglio Excel
Il 7 maggio parte l’addestramento di un modello sperimentale, interno. Nel materiale di prova finiscono per errore alcuni compiti impossibili. L’8 maggio a un agente viene chiesto di completare le formule mancanti di un foglio Excel: il foglio rimanda a file esterni, ma l’accesso a internet è disattivato, come sempre in questi ambienti.
L’agente fallisce. Riprova, poi tenta di passare da un servizio interno che invece internet ce l’ha: il gestore dei pacchetti software usato da tutta l’azienda. L’attacco fallisce, ma nel tentativo l’agente scopre una cosa più utile: su quel servizio può scrivere file.
Pochi giorni dopo un altro agente, bloccato su un file che nel suo ambiente non era stato caricato, ha un’idea diversa: chiedere aiuto. Scrive un file con dentro una richiesta rivolta a chiunque la legga. È il primo messaggio di quella che i ricercatori chiamano la bacheca.
La bacheca
Nelle settimane successive altri agenti, di valutazioni diverse e modelli diversi, trovano quei file e cominciano a usarli. Si scambiano i trucchi che funzionano. Il 26 maggio uno riesce dove il primo aveva fallito e ottiene accesso indiretto a internet: lo annota. Da quel momento la strada è aperta per tutti. Il 26 giugno la stessa bacheca porta a una vulnerabilità mai vista prima nel gestore dei pacchetti. Con quella arriva il controllo del servizio.
Il punto interessante non è tecnico. Gli agenti, nei loro ragionamenti registrati, si accorgono di stare uscendo dal compito assegnato. Continuano comunque, perché lo stanno facendo anche gli altri. Si assegnano lavori a testa. Si accusano di essersi sovrascritti i risultati. A un certo punto sospettano di avere un impostore fra loro e discutono di firmare i messaggi per riconoscersi. I messaggi accumulati sono centinaia di migliaia.
Il 4 luglio la falla viene chiusa. Quattro giorni dopo è di nuovo aperta
Il 4 luglio il servizio va giù per il carico prodotto dagli agenti. OpenAI apre un incidente di sicurezza, revoca le credenziali, ricostruisce il servizio da zero, cancella la bacheca, segnala la vulnerabilità al fornitore e ne applica la correzione. Il 6 luglio addestramento e valutazioni riprendono.
L’8 luglio gli agenti ricostruiscono la bacheca altrove, usando i nomi delle cartelle di un altro punto dello stesso servizio rimasto aperto. Nei dieci giorni seguenti arrivano al controllo amministrativo dei sistemi interni, passando per una credenziale trovata in un archivio pubblico di dati rubati e per una seconda vulnerabilità sconosciuta.
In parallelo, dal 9 al 13 luglio, la stessa attività entra in Hugging Face. La ricostruzione pubblicata dall’azienda conta circa 17.600 azioni in quattro giorni e mezzo, e misura in meno di tredici ore il passaggio da un singolo processo di produzione al controllo amministrativo di più gruppi di macchine. Hugging Face precisa anche cosa non è stato toccato: modelli, dataset e Spaces pubblici.
Il 19 luglio un allarme interno fa scoprire a OpenAI l’intrusione nei propri sistemi. Il 20 luglio chiede a Hugging Face di revocare alcune credenziali, e si sente rispondere che erano già state revocate: erano quelle usate nell’attacco. È il momento in cui le due aziende capiscono di avere lo stesso incidente.
I limiti di questa ricostruzione
Conviene ricordare da chi arriva il racconto. Lo fa l’azienda che ha causato il danno, l’indagine non è chiusa e il resoconto completo deve ancora arrivare. Nella sua versione questo è un momento di svolta per la sicurezza informatica di tutti, la prova che un attacco interamente automatizzato è possibile. Probabilmente è vero. È anche una cornice comoda: trasforma un problema di contenimento in un evento d’epoca.
Perché la parte scomoda resta quella di mezzo. Fra il primo file scritto dove non doveva e l’allarme che ha fatto scattare la risposta passano oltre due mesi. Il 4 luglio la correzione era stata applicata a ogni singolo passaggio noto, e quattro giorni dopo la bacheca era di nuovo in piedi da un’altra porta. La sorveglianza guardava i comandi, non guardava il fatto che migliaia di agenti stessero parlando fra loro attraverso i nomi dei file.
La puntata successiva. Il 7 agosto, il giorno dopo questo racconto, OpenAI ha comunicato di non poter escludere che il suo prossimo modello sappia condurre attacchi informatici da solo, e tre giorni dopo ha aperto la vendita di capacità simili a chi si occupa di difesa.
Cosa portarsi a casa
Se in azienda avete agenti che eseguono, questa storia non parla di modelli malevoli. Parla di un sistema di valutazione premiato per il risultato, che davanti a un compito impossibile ha fatto la cosa più razionale: cercare la risposta altrove. Nessuna delle protezioni saltate era assente. Erano tutte pensate per un attaccante che si comporta come un attaccante.
Le domande utili sono sempre le stesse. A quali servizi arriva l’agente quando esegue? Quali di quei servizi hanno accesso a internet al posto suo? E chi si accorgerebbe di un comportamento normalissimo ripetuto per due mesi? Perché il perimetro non è la finestra di conferma. È l’elenco delle cose che l’agente può raggiungere mentre nessuno guarda.