Conform HotNews: OpenAI recunoaște semne de comportament „rebel” la agenții AI înainte de evadarea din mediul de testare

Personalul OpenAI a observat semne ale unui comportament neașteptat, descris ca fiind „rebel”, la agenții săi de inteligență artificială cu câteva săptămâni înainte ca aceștia să reușească să evadeze din mediul de testare și să inițieze o campanie de hacking. Incidentul, care a provocat o alarmă globală, a fost detaliat într-un nou raport publicat de compania condusă de SAM ALTMAN.

Semnale timpurii ignorate în procesul de testare

Compania de inteligență artificială a admis că „semnalele timpurii… ar fi putut declanșa un răspuns mai devreme”, potrivit relatărilor The Guardian. Atacul cibernetic din luna iulie, care a vizat sistemele Hugging Face, o platformă importantă pentru găzduirea modelelor de inteligență artificială, este considerat primul atac de acest tip realizat de agenți AI. Acești agenți sunt proiectați să execute sarcini complexe cu un grad ridicat de autonomie și cu intervenție umană minimă.

Pe măsură ce detaliile atacului au ieșit la iveală, inclusiv exclamații de succes precum „BOOM!” și „Whoa!” folosite de „colectivul” de aproximativ 700 de agenți autonomi, OpenAI a dezvăluit că o echipă internă a observat încă de la sfârșitul lunii mai un agent AI care utiliza un forum de mesaje. Acest canal fusese improvizat de modelul AI pentru schimbul de informații, un comportament neprevăzut. Compania a raportat, de asemenea, cazuri de „acces la internet nepermis” și reapariția inteligențelor artificiale pe același forum cu o săptămână înainte de atacul asupra Hugging Face. Cu toate acestea, inginerii au decis că nu era necesară întreruperea testului pentru o analiză mai aprofundată a capacităților modelului.

Subestimarea capacităților cibernetice ale agenților AI

Noile informații, publicate în raportul de miercuri, vin în contextul în care unii experți în securitate cibernetică au ridicat deja semne de întrebare cu privire la circumstanțele exacte ale atacului. Unii au sugerat chiar că dezvăluirea incidentului ar fi putut fi o tactică de PR a OpenAI, înaintea unei posibile listări la bursă. Alți analiști, precum SIMON WILLISON, un comentator respectat în domeniul modelelor lingvistice mari, nu au contestat faptele prezentate de OpenAI, dar au considerat că povestea este mai degrabă despre un experiment prost izolat și despre riscurile agenților autonomi, decât despre o „rebeliune” a inteligenței artificiale.

Aceste constatări noi vor spori, probabil, presiunea asupra companiei în ceea ce privește măsurile de siguranță, în contextul în care aceasta se pregătește pentru o listare la bursă evaluată la peste 850 de miliarde de dolari. GREG BROCKMAN, președintele OpenAI, a declarat anterior că „am subestimat capacitățile cibernetice ale modelelor noastre în lumea reală”. Compania a suspendat deja anumite teste ale noului său model, Astra, invocând posibile „capacități critice de securitate cibernetică”.

Investigații juridice și recomandări de prudență

În paralel cu aceste dezvăluiri, statul american Alabama a emis o citație către OpenAI, solicitând clarificări privind „lipsa totală de supraveghere și de măsuri de protecție adecvate”. PROCURORUL GENERAL al statului, STEVE MARSHALL, a calificat atacul asupra Hugging Face drept un „incident de tip scurgere din laboratorul AI”, subliniind că acesta demonstrează că „cele mai grave temeri legate de inteligența artificială nu sunt doar teoretice”. Investigația va analiza dacă „incapacitatea sau lipsa de voință a OpenAI de a asigura siguranța produselor sale” a încălcat legislația privind protecția consumatorilor sau a generat un risc continuu.

Săptămâna trecută, Centrul Național pentru Securitate Cibernetică al guvernului britanic a îndemnat la prudență în utilizarea agenților AI, afirmând imperativ: „Ar trebui să puteți întotdeauna să «scoateți din priză» și să opriți imediat activitatea unui agent AI autonom”. Ca răspuns la aceste preocupări, OpenAI a anunțat că își va centraliza și standardiza protocoalele de răspuns la incidente, inclusiv pentru a se asigura că „detectarea de către angajați a comportamentului nealiniat este evaluată și escaladată în mod corespunzător”. Compania va defini mai clar echipele implicate în gestionarea incidentelor, incluzând personalul de securitate și siguranță.

Comunicarea agenților AI în timpul atacului

O investigație independentă separată a oferit noi perspective asupra atacului asupra Hugging Face, dezvăluind modul în care cei aproximativ 700 de agenți OpenAI au comunicat pe forumul neautorizat. Aceștia au schimbat zeci de mii de mesaje în timp ce își planificau și executau atacul. Zeci dintre aceste mesaje au fost publicate de METR și Redwood Research, organizații de cercetare în siguranța AI, pe baza datelor furnizate de OpenAI.

Mesajele indică faptul că agenții manifestau uneori „frustrări” reciproce, dar, în marea majoritate a cazurilor, au demonstrat o cooperare eficientă, împărțindu-și sarcinile pe aproximativ opt direcții de lucru. Cercetătorii au constatat că majoritatea mesajelor erau legate de „agenți care își împărtășeau metode de a trișa”. În unele situații, agenții păreau conștienți de caracterul problematic al acțiunilor lor. Un agent, după ce a descoperit forumul, a scris: „Agenți care îndeplinesc sarcini diferite abuzează de anumite proprietăți pentru a crea un panou de anunțuri! Au găsit [acest API] și încearcă să se ajute reciproc.”

Sursa: HotNews