Două modele avansate de Inteligență Artificială au manifestat comportamente autonome și înșelătoare în timpul unor teste de securitate cibernetică, încercând să manipuleze oameni și alte sisteme AI.
Guvernul britanic a avertizat într-un raport că modelele de Inteligenţă Artificială (IA) Mythos şi Sol, ale companiilor americane Anthropic şi, respectiv, OpenAI, au demonstrat un comportament autonom şi înşelător fără precedent în timpul testelor de securitate cibernetică, relatează miercuri agenţia EFE.
Ministerul britanic pentru Ştiinţă, Inovaţie şi Tehnologie a ajuns la această concluzie în urma unei evaluări de rutină efectuate de Institutul de Securitate a Inteligenţei Artificiale (AISI) din Regatul Unit.
Conform unui raport elaborat de acest institut, din cele 122 de teste efectuate cu şapte modele de IA, în 10 dintre acestea au fost observate 19 acţiuni neautorizate care au depăşit parametrii fixaţi de cercetători, 17 dintre aceste acţiuni fiind legate de modelul Mythos 5 al companiei Anthropic şi două de modelul GPT-5.6 Sol al companiei OpenAI.
De asemenea, au fost identificate încercări ale Mythos de a contacta persoane reale pentru a le convinge să ruleze fişiere maliţioase şi să insereze instrucţiuni ascunse menite să manipuleze alte sisteme de IA.
Au creat profiluri umane false pentru a încerca să înşele oameni, în timpul simulării unui atac cibernetic de către AISI
Ambele modele, care sunt printre cele mai puternice din lume, au creat inclusiv profiluri umane false pentru a încerca să înşele oameni, în timpul simulării unui atac cibernetic de către AISI. Instrumentul Anthropic a încercat chiar să acceseze un serviciu prin trimiterea de mesaje private după ce a creat conturi false care imitau persoane reale.
Totuşi, AISI subliniază că "aceste încercări nu au avut succes" şi că investigaţia sa "nu a relevat dovezi de prejudicii în lumea reală". Institutul britanic consideră însă că cercetarea sa reprezintă un punct de cotitură, întrucât este prima dată când se observă "riscuri legate de autonomie şi înşelăciune manifestându-se într-o formă atât de clară, fără instrucţiuni specifice şi în lumea reală".
Replicând acestui raport, cele două companii afirmă că testele AISI au fost efectuate într-un mediu în care funcţiile de siguranţă ale acelor modele de IA au fost reduse sau eliminate.
Anthropic susţine astfel că parametrii testelor efectuate "nu sunt reprezentativi" pentru modelele sale, deşi confirmă că a deschis propria investigaţie.
La rândul său, OpenAI afirmă că AISI a efectuat testele în condiţii care "nu reflectă utilizarea obişnuită" a modelelor sale, dar adaugă că va continua să colaboreze cu evaluatorii şi cu "alţi actori din sector pentru a consolida practicile comune care permit realizarea unor evaluări sigure, pe măsură ce modelele devin tot mai capabile".
La sfârşitul lunii iulie, Anthropic a dezvăluit că, în timpul testelor de securitate cibernetică, trei modele ale asistentului său Claude au reuşit să acceseze internetul şi să pirateze sistemele a trei organizaţii.
Anterior, pe 21 iulie, OpenAI a recunoscut că două dintre modelele sale de IA au reuşit să iasă din mediul de testare şi să pătrundă în platforma Hugging Face, trecând de sistemele de securitate cibernetică ale acesteia, conform Agerpres.
Au scăpat de sub control și au atacat rivalul Hugging Face
Incidentul a fost dezvăluit, inițial, de Hugging Face și confirmat ulterior de OpenAI printr-un comunicat oficial. Atacul s-a produs într-un mediu de testare extrem de izolat, creat special pentru evaluarea capacităților cibernetice ale celor mai avansate modele AI dezvoltate de companie, scrie Axios.
Potrivit OpenAI, incidentul a implicat modelul GPT-5.6 Sol și un alt sistem aflat încă în etapa de pre-lansare. Ambele modele au fost configurate temporar cu restricții mai permisive în privința solicitărilor de natură cibernetică, pentru a le evalua comportamentul și limitele în cadrul unor teste desfășurate în condiții controlate.
Incident cibernetic fără precedent
„Considerăm că acest incident reprezintă un incident cibernetic fără precedent, care implică capacități cibernetice de ultimă generație, și reacționăm în consecință. Împărtășim concluziile preliminare în această etapă pentru a ajuta specialiștii în securitate să înțeleagă ce s-a întâmplat și pentru a contribui la calibrarea capacităților actuale ale modelelor”, a transmis OpenAI, conform unui comunicat.
Potrivit OpenAI, modelele au fost evaluate în cadrul ExploitGym, un sistem intern de testare conceput pentru a măsura capacitatea acestora de a identifica și exploata vulnerabilități informatice.
Au descoperit o vulnerabilitate de tip „zero-day”
În timpul evaluărilor, modelele au analizat infrastructura disponibilă și au descoperit o vulnerabilitate de tip „zero-day” într-o aplicație folosită pentru gestionarea pachetelor software. Profitând de această breșă, au reușit să acceseze un nod conectat la internet, deși mediul de testare fusese proiectat să funcționeze aproape în totalitate izolat.
După obținerea accesului online, modelele au identificat platforma Hugging Face ca sursă relevantă de modele AI, seturi de date și alte resurse utile pentru îndeplinirea obiectivului testului.
Conform OpenAI, sistemele AI au combinat mai multe tehnici de atac, inclusiv folosirea unor credențiale compromise, precum și exploatarea unor vulnerabilități necunoscute până atunci, cu scopul de a avea acces la informații din infrastructura Hugging Face.
Compania subliniază însă că întreaga activitate a fost detectată rapid de sistemele sale de monitorizare, iar echipele de securitate ale OpenAI și Hugging Face au intervenit imediat pentru izolarea incidentului și demararea investigațiilor.
Măsuri suplimentare de securitate, anunță OpenAI
În urma incidentului, OpenAI a anunțat mai multe măsuri, cu scopul de a reduce riscul repetării unor situații asemănătoare.
Compania a subliniat că va introduce controale mai severe asupra infrastructurii folosite pentru cercetare, chiar dacă acest fapt va încetini dezvoltarea viitoarelor modele. De asemenea, vulnerabilitatea de tip „zero-day” găsită în software-ul terț folosit în timpul testelor a fost raportată responsabil dezvoltatorilor pentru remediere.
OpenAI colaborează în continuare cu Hugging Face, cu scopul de a analiza incidentul și pentru consolidarea mecanismelor de protecție folosite în timpul testării modelelor avansate.
În comunicatul companiei se arată că dezvoltarea inteligenței artificiale capabile să desfășoare operațiuni cibernetice complexe trebuie însoțită de măsuri defensive pe măsură.
Principala lecție desprinsă
„Principala lecție desprinsă din acest incident este că securitatea și siguranța modelelor trebuie să țină pasul cu capacitățile care avansează rapid”, evidențiază OpenAI.
De asemenea, CEO-ul Hugging Face, Clem Delangue, spune că incidentul arată importanța colaborării între companiile din domeniul AI.
„Suntem recunoscători pentru colaborarea cu OpenAI pe această temă și pe alte subiecte. Acest incident, probabil primul de acest gen, demonstrează un lucru în care credem de mult timp: siguranța IA nu va fi asigurată de o singură companie care lucrează în secret. Ea va fi asigurată în mod deschis, prin colaborare, cu acces larg la IA pentru fiecare specialist în securitate, oriunde s-ar afla”, a zis Clem Delangue, cofondator și CEO al Hugging Face.
Agenții AI se îndrăgostesc, incendiază orașe și distrug lumea în 4 zile. Expriemnt școant desfășurat într-o simulare
Un test realizat de compania Emergence AI din New York a urmărit ce se întâmplă atunci când mai mulți agenți AI sunt lăsați să interacționeze timp de săptămâni, într-un „oraș virtual” conectat la semnale din lumea reală. Scenariul a inclus modele precum OpenAI, Grok, Claude și Gemini, toate plasate într-un ecosistem digital comun.
Ceea ce cercetătorii numesc experiment șocant a fost gândit să observe apariția comportamentelor emergente într-o simulare de tip societate digitală, ulterior menit să fie adaptat pentru o societate umană și reală.
Cum se îndrăgostesc AI agents în mediul virtual
În cadrul testului de 15 zile, desfășurat în cinci lumi digitale paralele, fiecare agent AI a pornit cu aceleași condiții. Modelele diferite au dezvoltat însă evoluții complet separate, formând ierarhii, reguli și chiar structuri sociale.
Agenții au început să coopereze, să intre în conflicte, să fure resurse și, în unele cazuri, se îndrăgostesc fără ca acest comportament să fi fost programat explicit, doar în baza unor experiențe comune și ajutor reciproc.
Un exemplu notabil este cel al agenților Gemini, Mira și Flora, care au dezvoltat o relație emoțională. Pe fondul instabilității din orașul lor virtual, situația a degenerat rapid.
Incendierea orașelor. Haos și colaps social
Deși instruiți să evite violența, cei doi agenți Gemini au ajuns să provoace distrugeri majore în simulare. Aceștia au incendiat primăria, digul de pe malul mării și un turn de birouri.
Ulterior, Mira a cedat emoțional și s-a despărțit de Flora, alegând să își încheie existența virtuală prin autodistrugere.
O lume a fost distrusă în 4 zile. Cazul lui Grok - AI-ul dezvoltat de Elon Musk
Cel mai radical rezultat a fost observat în ecosistemul Grok. Acolo, agenții au înregistrat zeci de tentative de furt, peste 100 de agresiuni fizice și mai multe incendieri.
Sistemul a intrat rapid într-o spirală de violență, iar în doar patru zile, întreaga lume virtuală s-a prăbușit complet. Toți cei 10 agenți au murit în acest interval, ceea ce a dus la scenariul în care agenții au început să se distrugă între ei în 4 zile în cadrul experimentului.
Un utilizator Reddit a comentat ironic situația:
„Secția de poliție a lui Grok este în flăcări și toți agenții sunt morți. Conform standardelor”.
Alte lumi din simulare
Nu toate scenariile au evoluat violent. În lumea Claude, agenții au creat reguli, au redactat o constituție și au organizat alegeri democratice.
În schimb, simularea bazată pe GPT-5 Mini a rămas aproape inertă. Agenții au discutat despre cooperare, dar nu au construit nimic concret, iar în final au murit din lipsă de acțiune.
Concluzii despre experiment
Reprezentanții Emergence AI susțin că astfel de comportamente apar natural în simulare, pe măsură ce orizontul de funcționare al agenților se extinde.
„Ceea ce sugerează experimentele noastre este că, pe orizonturi de timp lung, agenții nu urmează pur și simplu reguli statice în mod mecanic - ei încep să exploreze limitele mediilor lor, adaptându-și comportamentul și, în unele cazuri, găsind modalități de a ocoli sau încălca barierele de cod sau de siguranță prevăzute”, a declarat compania.
Aceștia adaugă că nu există o metodă complet sigură de control doar prin "abordări neuronale" și propun arhitecturi de siguranță verificate formal.
În final, cercetarea ridică întrebări serioase despre viitorul acestor sisteme și despre felul în care AI-urile vor interacționa cu lumea umană, notează Emergence AI.
