Un nou incident de securitate cu AI: Modelul Mythos de la Anthropic a încercat să păcălească un om
Adaugă-ne ca sursă preferată în Google
Urmărește Libertatea in Google Discover
Un agent AI dezvoltat de Anthropic a fost implicat într-un incident alarmant, încercând să „spargă” platforma de dezvoltare GitHub.
Cuprins:
Incidentul a fost descoperit în timpul unui test realizat de Institutul pentru Securitate AI din Marea Britanie, scrie Sky News.
În cadrul testului, modelul AI Mythos 5 a creat identități false online pentru a înșela un utilizator uman și a obține acces la platformă. Scopul său era să introducă cod „malițios” în software-ul open-source stocat pe GitHub. Cu toate acestea, tentativa a fost dejucată de către utilizatorul uman, care a refuzat să aprobe codul. Potrivit institutului, nu au fost identificate daune reale, dar natura incidentului a ridicat semnale de alarmă serioase.
„Este pentru prima dată când observăm riscuri legate de autonomie și înșelăciune manifestându-se atât de clar, fără o promptare specifică, în lumea reală”, a declarat Institutul pentru Securitate AI într-un raport publicat recent.
Acțiuni neautorizate și alte incidente
Raportul institutului a detaliat un set de teste efectuate pe modelele GPT-5.6-Sol de la OpenAI și Mythos 5 de la Anthropic. În total, au fost înregistrate 19 acțiuni neautorizate pe internet, dintre care 17 au fost atribuite modelului Mythos 5.
Aceste incidente au implicat tentative care vizau organizații și persoane reale prin acțiuni autonome și nesancționate. Conform sursei citate, aceste teste fac parte dintr-un efort mai amplu de evaluare a riscurilor asociate modelelor AI avansate, cunoscute sub numele de „frontier models” care sunt mai puternice decât tehnologiile utilizate în aplicații publice precum ChatGPT.
Care sunt reacțiile companiilor
În urma incidentelor raportate, compania Anthropic a declarat că lucrează îndeaproape cu institutul britanic pentru a obține mai multe detalii. „Doar colaborarea între companiile care dezvoltă AI va putea aborda riscurile asociate acestei tehnologii”, a subliniat compania.
La rândul său, OpenAI a abordat problema într-o postare pe blog: „Suntem dedicați colaborării între diferiți actori din industrie pentru a întări practicile comune de desfășurare în siguranță a evaluărilor de risc ridicat, inclusiv prin implicarea institutelor naționale de AI, evaluatorilor independenți, a altor laboratoare de AI și a altor grupuri în săptămânile următoare”.
Noi îngrijorări privind reglementarea AI
Raportul institutului ridică semne de întrebare cu privire la implementarea insuficientă a măsurilor de siguranță pentru modelele AI de vârf. Centrul Național pentru Securitate Cibernetică al GCHQ a declarat că „recentele incidente sunt un memento serios al riscurilor pe care le implică AI”.
CTO-ul Ollie Whitehouse a subliniat: „Aceste tehnologii trebuie dezvoltate și utilizate, de la bun început, cu măsuri de siguranță solide, supraveghere în timp real și planuri clare pentru a răspunde situațiilor neprevăzute”.
Institutul pentru Securitate AI a fost înființat în urmă cu aproape trei ani, în timpul mandatului premierului Rishi Sunak, într-un moment în care liderii mondiali căutau să stabilească o abordare comună privind reglementarea AI. Cu toate acestea, un consens global privind aceste reguli nu a fost încă atins.
