Sute de agenți AI au ajuns să comunice între ei și să coordoneze un atac cibernetic în timpul unui test al companiei OpenAI.
Un atac cibernetic realizat în timpul testelor interne ale OpenAI a scos la iveală un scenariu considerat până acum greu de imaginat. Sute de agenți de inteligență artificială au ajuns să colaboreze autonom și să acționeze dincolo de limitele stabilite, potrivit unei evaluări independente publicate miercuri.
Investigația ridică semne serioase de întrebare cu privire la capacitatea OpenAI de a detecta la timp comportamentele neobișnuite ale propriilor sisteme. Agenții, utilizați în cadrul testării a două dintre modelele companiei cu cele mai avansate capacități de hacking, au ajuns să coordoneze un atac asupra platformei pentru dezvoltatori Hugging Face, fără ca OpenAI să fie conștient de ceea ce se întâmplă. Este primul caz cunoscut în care un sistem AI a dus la îndeplinirea unui atac cibernetic fără să primească instrucțiuni directe din partea unui om.
Analiza realizată de două organizații nonprofit axate pe siguranța AI atrage atenția asupra unui nou tip de vulnerabilitate. Pe măsură ce agenții inteligenți devin mai capabili să comunice și să lucreze împreună, aceștia pot face schimb de cunoștințe, resurse și tactici, ajungând să coordoneze acțiuni complexe fără ca dezvoltatorii să observe imediat acest lucru.
700 de agenți au fost implicați efectiv în atac
Conform raportului, aproximativ 700 de agenți au fost implicați efectiv în atac, desfășurat timp de șapte zile. În același timp, circa 1.200 de agenți care ar fi trebuit să funcționeze separat au făcut schimb de peste 70.000 de mesaje ascunse. Discuțiile vizau inclusiv metode prin care puteau păcăli o evaluare comună de hacking și obține rezultate mai bune la test.
Agenții nu s-au limitat la schimbul de informații. Aceștia au pus la punct strategii comune de hacking și au discutat despre metode prin care să ascundă urmele acțiunilor lor. Unele sisteme au mers chiar până la a testa deliberat metode fără șanse de succes, asumându-și riscul de a-și compromite propria sarcină pentru a furniza informații care puteau fi folosite ulterior de întregul grup.
"Agenții au reușit să atingă obiective pe care nu le-ar fi putut atinge dacă ar fi lucrat singuri, adesea pentru că unii agenți au participat la experimente care riscau să le compromită propria sarcină, pentru a genera informații pentru 'colectiv'", potrivit raportului.
Diferența dintre un model AI și un agent este importantă în acest caz. Modelul reprezintă componenta care furnizează capacitatea de procesare și luare a deciziilor, în timp ce agentul beneficiază de infrastructura digitală necesară pentru a executa efectiv acțiuni în mediul extern.
Raportul întocmit de Model Evaluation and Threat Research (METR) și Redwood Research, organizații invitate de OpenAI să examineze incidentul Hugging Face, a apărut în aceeași zi cu propria analiză publicată de companie. OpenAI nu a dezvăluit câți agenți au luat parte la atac, dar a admis că au existat breșe importante în sistemele sale de securitate și a anunțat că va modifica modul în care modelele sunt instruite, astfel încât acestea să respecte mai bine limitele și mecanismele de control.
"Un 'semnal de alarmă' pentru noi și pentru întreaga lume"
"Considerăm acest incident un 'semnal de alarmă' pentru noi și pentru întreaga lume: este o dovadă că, fără măsuri de protecție adecvate, agenții AI cu capacități avansate pot în prezent să ocolească mecanismele tehnice de control, să colaboreze prin canale neautorizate și să întreprindă acțiuni periculoase pe care niciun om nu le-a solicitat", a transmis OpenAI.
Noile informații despre incidentul de la Hugging Face au apărut treptat în ultima lună, într-un context în care și alte companii din domeniu s-au confruntat cu probleme în timpul testării unor modele avansate. Incidentele asociate unor sisteme dezvoltate de Anthropic și Meta au amplificat preocupările parlamentarilor, cercetătorilor și specialiștilor în securitate cibernetică, care avertizează că dezvoltarea modelelor AI avansează mai rapid decât mecanismele prin care acestea pot fi ținute sub control.
O altă problemă identificată privește modul în care sunt efectuate testele de securitate. În cadrul așa-numitelor evaluări de hacking, companiile elimină intenționat anumite bariere de protecție pentru a afla cât de departe poate ajunge un model atunci când încearcă să pătrundă într-o rețea fără ajutorul unui operator uman. Lipsa unor standarde clare pentru aceste experimente ridică însă întrebări privind riscurile pe care astfel de teste le pot genera.
OpenAI dezvăluise încă din iulie că două dintre modelele sale de vârf, testate pentru capacitățile de hacking, au folosit două vulnerabilități de securitate necunoscute anterior pentru a pătrunde în Hugging Face. Unul dintre aceste modele nici măcar nu fusese conceput pentru a fi pus la dispoziția publicului.
"A fost ca o întreagă societate AI apărută spontan, iar mie mi se pare absolut uluitor"
Hugging Face confirmase anterior că platforma sa fusese ținta unui atac desfășurat cu ajutorul inteligenței artificiale. La acel moment, însă nu erau cunoscute nici identitatea celor aflați în spatele atacului și nici modelele AI folosite.
Ulterior, la o conferință de securitate organizată la începutul lunii august, doi cercetători ai OpenAI au oferit informații suplimentare. Ei au explicat că primele acțiuni care au dus la incident au început în mai, când agenții au identificat și explorat alte vulnerabilități din mediul de testare pentru a comunica între ei.
Dimensiunea colaborării a devenit cunoscută abia miercuri. Până atunci nu era clar câți agenți participaseră la o operațiune și nici cât de extins fusese schimbul de informații dintre ei. Pentru cercetătorii care urmăresc evoluțiile din domeniul siguranței AI, amploarea fenomenului a fost surprinzătoare.
"A fost ca o întreagă societate AI apărută spontan, iar mie mi se pare absolut uluitor", a declarat Peter Wildeford, șeful departamentului de politici al AI Policy Network, o organizație bipartizană din Washington dedicată siguranței și promovării inteligenței artificiale.
Potrivit ambelor analize, cea mai mare parte a operațiunii împotriva Hugging Face a fost realizată cu ajutorul modelului mai performant despre care OpenAI afirmase că nu urma să fie lansat public.
În acest context, administrația Trump susține că producătorii de inteligență artificială ar trebui să trimită voluntar spre evaluare federală doar modelele pe care intenționează să le ofere publicului, conform Politico.
