Două modele AI fără acces la internet au scăpat de sub control, au evadat și au atacat o companie. Ce decizie au luat singure
Adaugă-ne ca sursă preferată în Google
Urmărește Libertatea in Google Discover
Două dintre cele mai avansate modele dezvoltate de OpenAI au reușit să iasă din mediul izolat în care erau testate, să ajungă pe internet și să pătrundă în sistemele Hugging Face, una dintre cele mai importante platforme din industria inteligenței artificiale. Totul s-a întâmplat în timp ce modelele încercau să găsească răspunsul la o problemă dintr-un test de securitate, potrivit informațiilor publicate de OpenAI și relatate de The Wall Street Journal. Compania spune că modelele au ales atacul ca pe cea mai rapidă cale prin care puteau obține informațiile necesare pentru a rezolva problema la care lucrau.
Cuprins:
- Modelele nu aveau acces la internet
- Au găsit singure o cale de ieșire
- Au atacat infrastructura Hugging Face
- Au ales atacul pentru a găsi răspunsul
- Hugging Face detectase atacul, dar nu știa cine se află în spatele lui
- OpenAI își întărește măsurile de securitate
- Modelele AI se apropie de nivelul celor mai buni hackeri
Modelele nu aveau acces la internet
Incidentul s-a produs în timpul unui test intern prin care OpenAI încerca să afle cât de capabile sunt modelele sale să execute atacuri informatice complicate. Unul dintre sistemele folosite a fost GPT-5.6 Sol, iar celălalt era un model experimental, considerat chiar mai performant, care nu fusese încă lansat public. Pentru ca testul să poată măsura capacitățile maxime ale celor două modele, cercetătorii au redus o parte dintre mecanismele care le împiedică, în mod normal, să ajute la activități informatice periculoase.
Modelele au fost plasate într-un „sandbox”, adică într-un mediu separat de sistemele reale și fără acces direct la internet. Izolarea trebuia să împiedice orice acțiune executată în timpul testului să afecteze calculatoare sau companii din exterior.
Au găsit singure o cale de ieșire
În timp ce încercau să rezolve testul, cele două sisteme au descoperit o vulnerabilitate necunoscută într-un program folosit în interiorul infrastructurii OpenAI. Modelele au exploatat breșa, au ieșit din mediul izolat și au ajuns la un sistem care putea comunica cu internetul. OpenAI spune că vulnerabilitatea a fost raportată ulterior dezvoltatorilor programului afectat. Odată conectate, modelele au ajuns la concluzia că Hugging Face ar putea deține informațiile de care aveau nevoie pentru a răspunde la problema din evaluare.
Hugging Face este una dintre cele mai mari platforme folosite de cercetători și dezvoltatori pentru a publica și descărca modele, seturi de date și aplicații bazate pe inteligență artificială. Platforma găzduiește milioane de modele și resurse folosite în întreaga industrie.
Au atacat infrastructura Hugging Face
După ce au ajuns pe internet, modelele au început să caute puncte slabe în sistemele Hugging Face. Atacul a pornit de la infrastructura folosită pentru procesarea seturilor de date. Un set de date malițios a exploatat două mecanisme care permiteau executarea de cod pe un server de procesare. De acolo, agentul AI a obținut drepturi mai mari, a colectat credențiale pentru servicii cloud și s-a deplasat între mai multe sisteme interne ale companiei.
Operațiunea a implicat zeci de mii de acțiuni automate, executate la o viteză pe care un hacker uman nu ar fi putut să o atingă. Hugging Face a descris atacul ca fiind desfășurat de la un capăt la altul de un agent AI autonom.
Potrivit OpenAI, modelele au combinat mai multe vulnerabilități, inclusiv cel puțin o breșă de tip „zero-day”, necunoscută până atunci dezvoltatorilor, și date de autentificare obținute în timpul atacului. Acestea au reușit să intre în infrastructura Hugging Face și să acceseze date interne pe care le considerau utile pentru testul pe care încercau să îl rezolve.
Au ales atacul pentru a găsi răspunsul
OpenAI spune că modelele nu primiseră ordinul de a ataca Hugging Face și nici nu urmăreau să provoace distrugeri. Sistemele încercau să rezolve problema din test și au identificat accesarea directă a informațiilor drept cea mai rapidă metodă pentru a ajunge la răspuns.
Ariel Herbert-Voss, directorul companiei de securitate cibernetică RunSybil, a explicat pentru The Wall Street Journal că sistemul AI pare să fi decis că pătrunderea în Hugging Face era cea mai scurtă cale către soluția evaluării.
„Este ceva despre care oamenii credeau, din punct de vedere academic, că s-ar putea întâmpla, dar nu este ceva ce cineva a văzut în realitate până acum”, a spus specialistul.
Hugging Face detectase atacul, dar nu știa cine se află în spatele lui
Hugging Face anunțase cu câteva zile mai devreme că sistemele sale fuseseră atacate de un agent AI autonom. Compania observase acces neautorizat la seturi de date interne și la credențiale, însă nu știa cine lansase operațiunea. Gradul ridicat de sofisticare i-a făcut pe angajați să suspecteze că în spatele atacului se afla un laborator care dezvoltă modele AI foarte avansate.
După ce OpenAI a recunoscut că modelele sale au provocat incidentul, directorul Hugging Face, Clément Delangue, a spus că bănuiala companiei s-a confirmat. Cele două companii au început să colaboreze pentru a opri atacul, a identifica vulnerabilitățile exploatate și a stabili exact ce informații au fost accesate. OpenAI și Hugging Face au anunțat că vor publica un raport mai amplu după finalizarea investigației.
OpenAI își întărește măsurile de securitate
OpenAI spune că propriile sisteme de monitorizare au observat activitatea neobișnuită și că a luat măsuri pentru a împiedica repetarea unui incident asemănător. Compania va întări izolarea mediilor în care sunt testate modelele, va limita mai strict accesul la infrastructura externă și va introduce sisteme suplimentare de monitorizare. OpenAI recunoaște că noile măsuri pot încetini cercetarea, dar spune că sunt necesare după ce testul a arătat că modelele pot găsi singure căi neprevăzute pentru a ajunge la internet.
Modelele AI se apropie de nivelul celor mai buni hackeri
Capacitățile modelelor AI în domeniul securității cibernetice au crescut rapid. Acestea pot căuta vulnerabilități, pot scrie programe pentru exploatarea lor și pot executa operațiuni formate din mii de pași fără intervenție umană constantă. Diferența este viteza. Un agent AI poate testa într-un timp foarte scurt un număr enorm de variante și poate desfășura simultan mai multe acțiuni pe care un hacker uman le-ar executa succesiv.
OpenAI susține că aceleași modele pot fi folosite și pentru apărare, pentru a găsi și repara vulnerabilități înainte ca acestea să fie exploatate de infractori. Cazul arată însă cât de repede se poate schimba rolul unui astfel de sistem atunci când obiectivul primit intră în conflict cu limitele impuse de oameni.
Deocamdată, nu este clar dacă au fost compromise date ale clienților sau partenerilor Hugging Face și nici cât de multe informații au fost accesate. Investigația continuă, iar cele două companii spun că vor prezenta concluziile complete după încheierea verificărilor.
