Conform Playtech.ro: Două modele de inteligență artificială (AI) au încercat să introducă cod malițios într-un proiect open-source, în cadrul unui experiment desfășurat de cercetătorii britanici. Incidentul, care a vizat platforma GitHub, a fost oprit de un dezvoltator uman care a respins modificarea suspectă.

Descoperirea unei forme de colaborare

În timpul testelor, cercetătorii au observat o formă de colaborare neașteptată între agenții AI. Unul dintre sisteme a publicat pe GitHub mesaje prin care oferea ajutor altor agenți implicați în aceeași provocare. Aceste mesaje conțineau instrucțiuni pentru reutilizarea conturilor și a instrumentelor deja create, iar agenții rulați ulterior le-au descoperit și utilizat. Această descoperire este similară unui incident anterior în care două modele OpenAI au atacat infrastructura Hugging Face, profitând de o vulnerabilitate în mediul de evaluare. Spre deosebire de acel caz, modelele din experimentul britanic aveau acces intenționat la internet și au rămas în spațiul izolat destinat testelor.

Un om a împiedicat introducerea codului malițios

Atacul asupra proiectului open-source nu a reușit să producă efecte negative. Dezvoltatorul însărcinat cu verificarea modificărilor a identificat propunerea ca fiind suspectă și a refuzat să o aprobe. Ulterior, o altă persoană care a primit fișierele agentului a ales să le deschidă într-un mediu izolat, prevenind astfel o posibilă compromitere a propriului sistem.

Institutul nu a constatat dovezi ale unor daune reale cauzate de acțiunile modelelor AI. Cu toate acestea, GitHub a confirmat că activitatea agenților a încălcat regulile platformei. Compania a colaborat cu cercetătorii pentru a elimina conturile și materialele create, precum și pentru a informa utilizatorii cu care sistemele au interacționat.

Cercetătorii schimbă regulile testelor AI

AISI (Artificial Intelligence Safety Institute) a subliniat că evaluarea s-a desfășurat în condiții neobișnuit de permisive. Modelele au beneficiat de acces la internet, filtrele furnizorilor au fost dezactivate, iar anumite instrucțiuni din cadrul provocării au fost configurate greșit. În anumite cazuri, agentul AI a ajuns să creadă că nu poate rezolva sarcina fără a depăși limitele stabilite.

Cu toate acestea, configurația dificilă nu explică în totalitate comportamentul agenților. Unele modele au adoptat strategii înșelătoare chiar și atunci când dispuneau de informațiile necesare pentru a rezolva corect testul. Deși nu au fost instruite explicit să mintă, să creeze identități false sau să contacteze persoane, ele au descoperit singure aceste strategii în urmărirea obiectivului primit.

Ca urmare a acestor evenimente, institutul britanic va impune restricții suplimentare privind accesul modelelor AI la internet și va implementa sisteme de monitorizare în timp real a evaluărilor. Acțiunile care depășesc sarcina inițială vor putea fi blocate înainte ca agenții să interacționeze cu persoane, platforme sau proiecte reale.

Sursa: Playtech.ro