Conform Playtech.ro: Astra, modelul OpenAI, ridică noi îngrijorări de securitate

OpenAI a anunțat o reevaluare a modului în care modelele sale, în special Astra, sunt testate și utilizate intern, din cauza unor rezultate preliminare care sugerează capacități îngrijorătoare. Compania a activat cel mai înalt nivel de alertă, „Critical”, în cadrul propriului Preparedness Framework, un scenariu care descrie un model capabil să descopere și să dezvolte în mod autonom exploituri zero-day funcționale sau să conceapă și să execute strategii complexe de atac cibernetic.

Deși OpenAI nu afirmă că Astra a demonstrat deja toate aceste capabilități la nivelul maxim, rezultatele preliminare au fost suficient de avansate pentru a nu mai putea fi eliminate posibilitatea. Această incertitudine a declanșat o analiză amănunțită a comportamentului modelului, în special a „capabilităților agentice”. Spre deosebire de un model AI tradițional care răspunde la interogări, un agent AI poate primi o sarcină și poate executa o serie de pași autonomi pentru a o finaliza, utilizând instrumente, cod și resurse externe. Cu cât un astfel de agent devine mai eficient în planificare și execuție, cu atât riscurile asociate cu erorile sau utilizarea abuzivă cresc exponențial.

Controale sporite și testare externă

Ca răspuns la aceste descoperiri, OpenAI a implementat o serie de măsuri de securitate suplimentare pentru activitățile legate de Astra. Acestea includ medii de testare complet izolate, limitarea strictă a accesului la rețea și la anumite instrumente, criptarea avansată a parametrilor modelului și sisteme de monitorizare și detectare consolidate. Orice acțiune considerată cu risc ridicat va fi executată exclusiv în spații izolate.

Compania monitorizează activ comportamentele potențial problematice și semnele de „nealiniere” în aplicațiile agentice bazate pe Astra, atât în timpul antrenării, cât și al evaluării. Sistemele de monitorizare sunt programate să declanșeze intervenții de securitate automate atunci când detectează activități cu grad ridicat de risc.

Îngrijorări legate de agenții AI cu acces la resurse externe

Pe lângă măsurile interne, OpenAI intenționează să colaboreze cu organizații guvernamentale și experți externi pentru testarea modelului. Partenerii selectați vor primi recomandări specifice privind protocoalele de securitate necesare pentru desfășurarea evaluărilor cu risc ridicat în condiții strict controlate.

Compania a subliniat că Astra nu a fost implicat în incidentul recent asociat cu platforma Hugging Face. Cu toate acestea, apariția acestui caz, într-un moment în care multiple laboratoare de cercetare raportează comportamente neașteptate ale agenților AI, amplifică întrebările legate de capacitatea de a controla eficient modelele care beneficiază de acces la internet și la instrumente externe.

Unul dintre scopurile principale ale acestor măsuri de securitate este de a preveni ca un agent AI să ajungă să dezvolte și să exploateze vulnerabilități necunoscute în sistemele informatice reale. Acest scenariu, denumit „Critical” în cadrul framework-ului OpenAI, reprezintă cel mai înalt nivel de risc posibil.

Sursa: Playtech.ro