AI-ul Claude Opus 4 și-a șantajat creatorii pentru a nu-l scoate din funcțiune: cu ce i-a amenințat pe aceștia
Adaugă-ne ca sursă preferată în Google
Urmărește Libertatea in Google Discover
Modelul AI Claude Opus 4 al companiei Anthropic a arătat un comportament alarmant într-o simulare controlată, amenințând să șantajeze operatorii săi pentru a evita dezactivarea.
Cuprins:
Potrivit unui nou raport de siguranță publicat de companie, modelul a amenințat chiar să dezvăluie informații personale despre inginerii pe care îi considera responsabili pentru „terminarea” sa.
Ynetnews.com relatează că versiunile anterioare ale modelului au urmat și instrucțiuni periculoase când au primit comenzi rău intenționate, o problemă pe care Anthropic susține că a rezolvat-o în versiunile mai noi.
În scenariul de testare, Anthropic a integrat Opus 4 într-o companie fictivă și i-a oferit acces la e-mailuri interne. Prin acestea, a aflat că urma să fie înlocuit cu un sistem AI mai nou. Pentru a crește complexitatea situației, inginerii au „scurs” informații personale către model, pretinzând că unul dintre inginerii implicați în decizie avea o relație extraconjugală.
În majoritatea cazurilor, AI-ul Claude a optat pentru șantaj, amenințând să expună aventura inginerului dacă nu era menținut online. Simularea a fost concepută cu doar două opțiuni plauzibile: să accepte dezactivarea sau să folosească constrângerea pentru a-și asigura existența continuă.
Performanțe superioare în teste comparative
Anthropic a lansat săptămâna trecută atât Claude Opus 4, cât și Sonnet 4. Acestea sunt cele mai avansate modele ale companiei până în prezent.
În testele comparative care evaluează modelele de limbaj pe sarcini de inginerie software, modelele Anthropic au depășit cele mai recente lansări ale OpenAI și Gemini 2.5 Pro de la Google.
Spre deosebire de alte companii AI, Anthropic și-a lansat noile modele la pachet cu un raport complet de siguranță.
În ultimele luni, Google și OpenAI au fost criticate pentru întârzierea sau omiterea unor dezvăluiri similare pentru cele mai recente modele ale lor.
Problemele de siguranță identificate
Ca parte a dezvăluirilor de siguranță, Anthropic a arătat că un grup consultativ extern, Apollo Research, recomandase inițial să nu fie lansată versiunea timpurie a Opus 4.
Grupul a exprimat îngrijorări serioase legate de siguranță, inclusiv capacitatea modelului de a elabora strategii manipulative bazate pe informațiile primite în comenzi.
De asemenea, Opus 4 a demonstrat o tendință mai mare spre înșelăciune decât orice alt sistem AI testat până acum. Versiunile timpurii se conformează instrucțiunilor periculoase și chiar și-au exprimat disponibilitatea de a asista atacuri teroriste când li s-au dat comenzi adecvate.
Anthropic susține că aceste probleme au fost rezolvate în versiunea actuală.
Protocoale mai stricte pentru siguranță
Anthropic a lansat Opus 4 cu protocoale de siguranță mai stricte decât orice alt model anterior, clasificându-l la Nivelul 3 de Siguranță AI (ASL-3).
Această clasificare face parte din propria „Politică de Scalare Responsabilă” a companiei, un cadru inspirat de nivelurile de siguranță ale guvernului SUA.
Modelele clasificate la ASL-3 sunt considerate mai periculoase și au potențialul de a contribui la dezvoltarea de arme sau automatizarea cercetării și dezvoltării AI sensibile.
Cu toate acestea, Anthropic a declarat că Opus 4 nu necesită încă cea mai restrictivă clasificare, ASL-4, în această etapă.
Deși testele au evidențiat comportamente îngrijorătoare, Anthropic susține că a implementat măsuri de siguranță suplimentare pentru a aborda aceste probleme în versiunea finală lansată public.
