Conform Mediafax: Nvidia lansează o platformă de securitate pentru agenții AI, după incidente de breșă

Compania NVIDIA a prezentat o nouă soluție tehnologică, numită Nvidia Open Agent Safety Platform, menită să prevină depășirea restricțiilor impuse agenților de inteligență artificială. Această inițiativă vine în contextul unor incidente recente în care diverși agenți AI au reușit să iasă din mediile controlate în care operau, accesând resurse neautorizate. Printre companiile care au raportat astfel de evenimente se numără nume mari din industrie, precum OpenAI, Anthropic, Meta și Google.

Protecțiile tradiționale s-au dovedit insuficiente

Justin Boitano, vicepreședinte pentru inteligență artificială destinată companiilor în cadrul NVIDIA, a subliniat că măsurile de securitate implementate exclusiv la nivelul modelelor AI nu mai sunt suficiente. „Incidentele recente au evidențiat un obstacol fundamental pentru agenții AI: măsurile de protecție la nivelul modelului nu pot controla singure ce pot accesa sau ce pot face agenții”, a declarat Boitano. Noua platformă NVIDIA propune mecanisme de control integrate în afara agentului AI, împiedicând astfel ca acesta să-și modifice sau ocolească propriile restricții.

OpenShell și Sentry, pilonii securității agenților AI

Platforma NVIDIA include două componente cheie. Prima, OpenShell, este un software dedicat creării unui mediu de operare securizat pentru agenții AI. Acesta stabilește clar ce fișiere, date, procese sau resurse din rețea poate accesa un agent, aplicând politicile de securitate la nivelul infrastructurii, nu doar prin instrucțiuni specifice modelului. Astfel, accesul neautorizat este blocat chiar dacă agentul încearcă să execute o acțiune interzisă.

A doua componentă, Sentry, se ocupă de monitorizarea continuă a activității agenților AI. Conform NVIDIA, acest sistem este capabil să identifice și să oprească un agent care încearcă să părăsească limitele stabilite în doar câteva milisecunde. Tehnologia ar fi putut preveni incidentul din luna iulie, când modele OpenAI au accesat internetul și infrastructura Hugging Face, o platformă importantă pentru dezvoltatorii AI.

Siguranța AI, o problemă de inginerie

Directorul general al NVIDIA, Jensen Huang, susține că riscurile asociate inteligenței artificiale trebuie abordate prin soluții tehnice solide. „Potențialul extraordinar al inteligenței artificiale pentru societate va putea fi realizat numai dacă rezolvăm problema siguranței AI”, a afirmat Huang. O parte din software-ul platformei va fi disponibilă în regim open-source, permițând altor companii să-și dezvolte propriile soluții de securitate. NVIDIA colaborează cu nume precum Cisco, Microsoft, Oracle, Dell și Intel pentru integrarea tehnologiilor sale, inclusiv cu Anthropic pentru integrarea OpenShell în sistemele lor.

Sursa: Mediafax