Două modele AI fără acces la internet au scăpat de sub control, au evadat și au atacat o companie. Ce decizie au luat singure

Modelele nu aveau acces la internet

Incidentul s-a produs în timpul unui test intern prin care OpenAI încerca să afle cât de capabile sunt modelele sale să execute atacuri informatice complicate. Unul dintre sistemele folosite a fost GPT-5.6 Sol, iar celălalt era un model experimental, considerat chiar mai performant, care nu fusese încă lansat public. Pentru ca testul să poată măsura capacitățile maxime ale celor două modele, cercetătorii au redus o parte dintre mecanismele care le împiedică, în mod normal, să ajute la activități informatice periculoase.

Modelele au fost plasate într-un „sandbox”, adică într-un mediu separat de sistemele reale și fără acces direct la internet. Izolarea trebuia să împiedice orice acțiune executată în timpul testului să afecteze calculatoare sau companii din exterior.

Au găsit singure o cale de ieșire

În timp ce încercau să rezolve testul, cele două sisteme au descoperit o vulnerabilitate necunoscută într-un program folosit în interiorul infrastructurii OpenAI. Modelele au exploatat breșa, au ieșit din mediul izolat și au ajuns la un sistem care putea comunica cu internetul. OpenAI spune că vulnerabilitatea a fost raportată ulterior dezvoltatorilor programului afectat. Odată conectate, modelele au ajuns la concluzia că Hugging Face ar putea deține informațiile de care aveau nevoie pentru a răspunde la problema din evaluare.

Hugging Face este una dintre cele mai mari platforme folosite de cercetători și dezvoltatori pentru a publica și descărca modele, seturi de date și aplicații bazate pe inteligență artificială. Platforma găzduiește milioane de modele și resurse folosite în întreaga industrie.

Au atacat infrastructura Hugging Face

După ce au ajuns pe internet, modelele au început să caute puncte slabe în sistemele Hugging Face. Atacul a pornit de la infrastructura folosită pentru procesarea seturilor de date. Un set de date malițios a exploatat două mecanisme care permiteau executarea de cod pe un server de procesare. De acolo, agentul AI a obținut drepturi mai mari, a colectat credențiale pentru servicii cloud și s-a deplasat între mai multe sisteme interne ale companiei.

Operațiunea a implicat zeci de mii de acțiuni automate, executate la o viteză pe care un hacker uman nu ar fi putut să o atingă. Hugging Face a descris atacul ca fiind desfășurat de la un capăt la altul de un agent AI autonom.

Potrivit OpenAI, modelele au combinat mai multe vulnerabilități, inclusiv cel puțin o breșă de tip „zero-day”, necunoscută până atunci dezvoltatorilor, și date de autentificare obținute în timpul atacului. Acestea au reușit să intre în infrastructura Hugging Face și să acceseze date interne pe care le considerau utile pentru testul pe care încercau să îl rezolve.

Au ales atacul pentru a găsi răspunsul

OpenAI spune că modelele nu primiseră ordinul de a ataca Hugging Face și nici nu urmăreau să provoace distrugeri. Sistemele încercau să rezolve problema din test și au identificat accesarea directă a informațiilor drept cea mai rapidă metodă pentru a ajunge la răspuns.

Ariel Herbert-Voss, directorul companiei de securitate cibernetică RunSybil, a explicat pentru The Wall Street Journal că sistemul AI pare să fi decis că pătrunderea în Hugging Face era cea mai scurtă cale către soluția evaluării.

„Este ceva despre care oamenii credeau, din punct de vedere academic, că s-ar putea întâmpla, dar nu este ceva ce cineva a văzut în realitate până acum”, a spus specialistul.

Hugging Face detectase atacul, dar nu știa cine se află în spatele lui

Hugging Face anunțase cu câteva zile mai devreme că sistemele sale fuseseră atacate de un agent AI autonom. Compania observase acces neautorizat la seturi de date interne și la credențiale, însă nu știa cine lansase operațiunea. Gradul ridicat de sofisticare i-a făcut pe angajați să suspecteze că în spatele atacului se afla un laborator care dezvoltă modele AI foarte avansate.

După ce OpenAI a recunoscut că modelele sale au provocat incidentul, directorul Hugging Face, Clément Delangue, a spus că bănuiala companiei s-a confirmat. Cele două companii au început să colaboreze pentru a opri atacul, a identifica vulnerabilitățile exploatate și a stabili exact ce informații au fost accesate. OpenAI și Hugging Face au anunțat că vor publica un raport mai amplu după finalizarea investigației.

OpenAI își întărește măsurile de securitate

OpenAI spune că propriile sisteme de monitorizare au observat activitatea neobișnuită și că a luat măsuri pentru a împiedica repetarea unui incident asemănător. Compania va întări izolarea mediilor în care sunt testate modelele, va limita mai strict accesul la infrastructura externă și va introduce sisteme suplimentare de monitorizare. OpenAI recunoaște că noile măsuri pot încetini cercetarea, dar spune că sunt necesare după ce testul a arătat că modelele pot găsi singure căi neprevăzute pentru a ajunge la internet.

Modelele AI se apropie de nivelul celor mai buni hackeri

Capacitățile modelelor AI în domeniul securității cibernetice au crescut rapid. Acestea pot căuta vulnerabilități, pot scrie programe pentru exploatarea lor și pot executa operațiuni formate din mii de pași fără intervenție umană constantă. Diferența este viteza. Un agent AI poate testa într-un timp foarte scurt un număr enorm de variante și poate desfășura simultan mai multe acțiuni pe care un hacker uman le-ar executa succesiv.

OpenAI susține că aceleași modele pot fi folosite și pentru apărare, pentru a găsi și repara vulnerabilități înainte ca acestea să fie exploatate de infractori. Cazul arată însă cât de repede se poate schimba rolul unui astfel de sistem atunci când obiectivul primit intră în conflict cu limitele impuse de oameni.

Deocamdată, nu este clar dacă au fost compromise date ale clienților sau partenerilor Hugging Face și nici cât de multe informații au fost accesate. Investigația continuă, iar cele două companii spun că vor prezenta concluziile complete după încheierea verificărilor.

Abonați-vă la ȘTIRILE ZILEI pentru a fi la curent cu cele mai noi informații.

ABONEAZĂ-TE