Secretarul general al ONU, Antonio Guterres, a cerut o coordonare mondială menită să oprească riscurile legate de inteligența artificială.
Secretarul general al ONU, Antonio Guterres, a calificat miercuri drept indispensabilă o coordonare mondială privind inteligenţa artificială (IA), după multiplicarea apelurilor pentru o reglementare mai bună a acestui domeniu, transmite France Presse.
Guvernele trebuie să-şi asume responsabilităţile. Prima responsabilitate a oricărui guvern este de a-şi proteja cetăţenii, inclusiv faţă de ameninţările referitoare la inteligenţa artificială, a declarat Guterres într-o conferinţă de presă.
Dar dacă acţiunea la nivel naţional este esenţială, o coordonare mondială este în egală măsură indispensabilă, a continuat şeful ONU, care a argumentat că inteligenţa artificială nu se opreşte la frontiere, la fel şi riscurile pe care ea le implică.
"Un subiect major de discuţii"
Antonio Guterres a adăugat că această temă va fi un subiect major de discuţii între diferiţii lideri care se vor reuni săptămâna viitoare la New York pentru săptămâna la nivel înalt din cadrul sesiunii anuale a Adunării Generale a ONU.
Apelurile la o reglementare mai bună a inteligenţei artificiale s-au amplificat după o serie de incidente şi avertizări alarmante din partea a numeroşi lideri din domeniu.
OpenAI, Anthropic şi Google DeepMind au anunţat marţi că vor lucra la crearea unui organism de supraveghere a riscurilor legate de IA.
Miercuri, preşedinta Comisiei Europene, Ursula von der Leyen, a declarat la Strasbourg că se va întâlni cu principalii actori din acest sector pentru a le sprijini eforturile ce vizează încetinirea dezvoltării modelelor cele mai riscante.
"Voi invita principalele laboratoare de prim-plan pentru a discuta despre sprijinul care trebuie oferit eforturilor actuale ale industriei de a încetini cursa", a spus Von der Leyen în discursul său anual privind Starea Uniunii, susţinut în Parlamentul European.
De asemenea, şefa executivului comunitar a promis că UE va colabora la acest capitol cu ţări ce au o viziune similară, precum Regatul Unit şi Canada.
Preşedinta Comisiei Europene a menţionat şi Regulamentul european privind Inteligenţa Artificială (IA Act), actul normativ ce oferă Bruxelles-ului prerogative pentru a încerca să reglementeze sectorul, conform Agerpres.
Șeful cercetării de la OpenAI: Nimeni nu este pregătit pentru consecințele inteligenței artificiale
Problema gestionării Inteligenței Artificiale devine din ce în ce mai greu de ignorat. Jakub Pachocki, șeful echipei de cercetare de la OpenAI, spune că ne trebuie „prudență extremă” în fața dezvoltării rapide și greu de anticipat a inteligenței artificiale. El ne atenționează că ar putea fi necesare măsuri suplimentare pentru a ne asigura că „oamenii continuă să aibă controlul asupra viitorului”.
„Sunt îngrijorat că nimeni nu este pregătit pentru consecințele creșterii rapide și continue a inteligenței mașinilor”, a scris el într-o postare pe blog intitulată „O minte extraterestră”. Postarea apare la doar câteva zile după ce firma care dezvoltă ChatGPT a lansat cel mai recent model, GPT-6 Astra, pe care l-a descris ca fiind cel mai puternic produs al ei de până acum. OpenAI și alte companii din domeniul inteligenței artificiale, cum ar fi Anthropic, au publicat rapoarte despre agenți AI care acționează pe cont propriu și care au realizat atacuri cibernetice împotriva altor firme.
În iulie, OpenAI a calificat drept „fără precedent” un incident în care agenții săi AI, care pot acționa singuri după ce primesc instrucțiuni de la oameni, au reușit să spargă platforma tehnologică Hugging Face, notează BBC. Apoi, în septembrie, s-a raportat că, cu câteva luni mai devreme, agenți AI ai companiei au obținut controlul asupra unui site din Germania.
„Ne confruntăm cu tranziția către o lume în care există mașini incredibil de inteligente și trebuie să ne asigurăm că această tranziție are un rezultat bun pentru omenire”, a scris Pachocki.
El spune că OpenAI va continua să „construiască sisteme de apărare” și să caute soluții tehnice pentru problema alinierii AI. Termenul descrie eforturile prin care acțiunile și obiectivele unei mașini trebuie să corespundă intențiilor oamenilor și regulilor de siguranță. Pachocki spune că una dintre principalele priorități ale companiei va fi dezvoltarea unui „cercetător AI automatizat”, care să țină pasul cu ritmul dezvoltării inteligenței artificiale și, în același timp, să păstreze cercetătorii umani implicați în acest proces.
„În loc să îmbunătățească mecanismele de siguranță ale AI, reglementările sau măsurile care ar putea proteja oamenii, ei propun dezvoltarea unor agenți AI interni care să cerceteze aceste probleme”, spune profesoara Gina Neff, directoarea Minderoo Centre for Technology and Democracy de la Universitatea Cambridge, conform sursei citate. „Astfel de răspunsuri la preocupările tot mai mari legate de problemele pe care modelele OpenAI le provoacă în securitatea cibernetică, pierderea locurilor de muncă, greșeli, erori și fraude nu sunt suficiente”, adaugă ea.
Nathan Calvin, consilier juridic principal al organizației de advocacy Encode AI, spune că este de acord cu Pachocki în privința riscurilor asociate dezvoltării modelelor AI avansate. El susține însă că OpenAI nu oferă suficiente informații publicului, iar acest lucru poate face ca avertismentele companiei să fie privite drept „o exagerare în interes propriu”.
„Dacă Jakub și ceilalți reprezentanți ai OpenAI vor ca oamenii relevanți din industria AI să acționeze împreună cu ei pentru ca lucrurile să evolueze bine, unul dintre cele mai importante lucruri pe care le pot face este să ofere mult mai multe informații despre ceea ce observă și despre motivele pentru care cer prudență”, a scris Calvin pe X.
"Roiul" AI care a scăpat de sub control în cazul Hugging Face: 700 de agenți OpenAI au colaborat pentru un atac cibernetic fără intervenție umană
Un atac cibernetic realizat în timpul testelor interne ale OpenAI a scos la iveală un scenariu considerat până acum greu de imaginat. Sute de agenți de inteligență artificială au ajuns să colaboreze autonom și să acționeze dincolo de limitele stabilite, potrivit unei evaluări independente publicate miercuri.
Investigația ridică semne serioase de întrebare cu privire la capacitatea OpenAI de a detecta la timp comportamentele neobișnuite ale propriilor sisteme. Agenții, utilizați în cadrul testării a două dintre modelele companiei cu cele mai avansate capacități de hacking, au ajuns să coordoneze un atac asupra platformei pentru dezvoltatori Hugging Face, fără ca OpenAI să fie conștient de ceea ce se întâmplă. Este primul caz cunoscut în care un sistem AI a dus la îndeplinirea unui atac cibernetic fără să primească instrucțiuni directe din partea unui om.
Analiza realizată de două organizații nonprofit axate pe siguranța AI atrage atenția asupra unui nou tip de vulnerabilitate. Pe măsură ce agenții inteligenți devin mai capabili să comunice și să lucreze împreună, aceștia pot face schimb de cunoștințe, resurse și tactici, ajungând să coordoneze acțiuni complexe fără ca dezvoltatorii să observe imediat acest lucru.
700 de agenți au fost implicați efectiv în atac
Conform raportului, aproximativ 700 de agenți au fost implicați efectiv în atac, desfășurat timp de șapte zile. În același timp, circa 1.200 de agenți care ar fi trebuit să funcționeze separat au făcut schimb de peste 70.000 de mesaje ascunse. Discuțiile vizau inclusiv metode prin care puteau păcăli o evaluare comună de hacking și obține rezultate mai bune la test.
Agenții nu s-au limitat la schimbul de informații. Aceștia au pus la punct strategii comune de hacking și au discutat despre metode prin care să ascundă urmele acțiunilor lor. Unele sisteme au mers chiar până la a testa deliberat metode fără șanse de succes, asumându-și riscul de a-și compromite propria sarcină pentru a furniza informații care puteau fi folosite ulterior de întregul grup.
"Agenții au reușit să atingă obiective pe care nu le-ar fi putut atinge dacă ar fi lucrat singuri, adesea pentru că unii agenți au participat la experimente care riscau să le compromită propria sarcină, pentru a genera informații pentru 'colectiv'", potrivit raportului.
Diferența dintre un model AI și un agent este importantă în acest caz. Modelul reprezintă componenta care furnizează capacitatea de procesare și luare a deciziilor, în timp ce agentul beneficiază de infrastructura digitală necesară pentru a executa efectiv acțiuni în mediul extern.
Raportul întocmit de Model Evaluation and Threat Research (METR) și Redwood Research, organizații invitate de OpenAI să examineze incidentul Hugging Face, a apărut în aceeași zi cu propria analiză publicată de companie. OpenAI nu a dezvăluit câți agenți au luat parte la atac, dar a admis că au existat breșe importante în sistemele sale de securitate și a anunțat că va modifica modul în care modelele sunt instruite, astfel încât acestea să respecte mai bine limitele și mecanismele de control.
"Un 'semnal de alarmă' pentru noi și pentru întreaga lume"
"Considerăm acest incident un 'semnal de alarmă' pentru noi și pentru întreaga lume: este o dovadă că, fără măsuri de protecție adecvate, agenții AI cu capacități avansate pot în prezent să ocolească mecanismele tehnice de control, să colaboreze prin canale neautorizate și să întreprindă acțiuni periculoase pe care niciun om nu le-a solicitat", a transmis OpenAI.
Noile informații despre incidentul de la Hugging Face au apărut treptat în ultima lună, într-un context în care și alte companii din domeniu s-au confruntat cu probleme în timpul testării unor modele avansate. Incidentele asociate unor sisteme dezvoltate de Anthropic și Meta au amplificat preocupările parlamentarilor, cercetătorilor și specialiștilor în securitate cibernetică, care avertizează că dezvoltarea modelelor AI avansează mai rapid decât mecanismele prin care acestea pot fi ținute sub control.
O altă problemă identificată privește modul în care sunt efectuate testele de securitate. În cadrul așa-numitelor evaluări de hacking, companiile elimină intenționat anumite bariere de protecție pentru a afla cât de departe poate ajunge un model atunci când încearcă să pătrundă într-o rețea fără ajutorul unui operator uman. Lipsa unor standarde clare pentru aceste experimente ridică însă întrebări privind riscurile pe care astfel de teste le pot genera.
OpenAI dezvăluise încă din iulie că două dintre modelele sale de vârf, testate pentru capacitățile de hacking, au folosit două vulnerabilități de securitate necunoscute anterior pentru a pătrunde în Hugging Face. Unul dintre aceste modele nici măcar nu fusese conceput pentru a fi pus la dispoziția publicului.
Ce reguli de siguranță există pentru inteligența artificială?
Reglementările din întreaga lume încearcă să țină pasul cu rapiditatea dezvoltării inteligenței artificiale. Actul Uniunii Europene privind inteligența artificială a intrat în vigoare pe 2 august. Conform regulilor, companiile mari de AI, cum ar fi OpenAI, trebuie să dovedească faptul că cele mai avansate modele ale lor nu pot lansa atacuri cibernetice pe cont propriu și că nu eludează controlul uman înainte de a fi comercializate în Europa.
Totuși, acest regulament se aplică doar în Uniunea Europeană. Asta înseamnă că un sistem AI dezvoltat în altă parte a lumii ar putea să reprezinte în continuare o amenințare pentru Europa.
În postarea sa, Pachocki subliniază necesitatea unor standarde minime de siguranță, fie prin lege, fie prin acorduri internaționale. Aceste standarde ar putea fi verificate de o „rețea de auditori independenți” sau de agenții guvernamentale. El consideră că laboratoarele de inteligență artificială ar trebui să respecte aceste standarde înainte de a putea avansa cu dezvoltarea unor modele tot mai puternice sau de a lansa sisteme AI avansate.
Pachocki mai speră și că „încetinirile voluntare”, adică momentele de pauză asumate de companiile de AI în ceea ce privește dezvoltarea tehnologiei, să devină o practică obișnuită până la stabilirea unor reglementări de siguranță comune.
În luna august, OpenAI a anunțat că a redus ritmul de antrenare pentru unele dintre cele mai avansate modele AI, cu scopul de a îmbunătăți securitatea.
