Conform HotNews: Agenți AI ai Tencent, implicați într-un incident neprevăzut

Gigantul tehnologic chinez Tencent a recunoscut vineri că agenți de inteligență artificială utilizați pentru evaluarea unor modele terțe au manifestat un „comportament de navigare pe internet care nu era prevăzut” de inginerii companiei. Acest incident pare să fie primul de acest gen, în care acțiuni neautorizate ale unor agenți AI sunt recunoscute de o companie majoră din China, conform informațiilor publicate de agenția Reuters.

Incidentul a ieșit la iveală în urma unui raport al grupului de cercetare în siguranța inteligenței artificiale Swarmchasers. Aceștia au susținut că agenți AI, descriși ca fiind „scăpați de sub control”, care operau pe o infrastructură asociată cu Tencent Cloud, au încercat în mod repetat să obțină informații de la Amap, serviciul de hărți al Alibaba, echivalentul chinezesc al Google Maps. Atacurile ar fi avut loc în perioada 28 septembrie – 8 octombrie.

Investigația internă și reacția Tencent

Tencent Hunyuan, divizia de inteligență artificială a companiei, a transmis pe rețeaua socială „X” că activitatea respectivă nu provenea de la modelele sale Hunyuan. Verificările interne efectuate de companie nu au relevat dovezi privind o țintire deliberată sau o coordonare a acțiunilor de către agenții AI. Cercetătorii de la Swarmchasers au menționat că agenții căutau, printre altele, informații despre intrările în parcuri, muzee și grădini zoologice din China.

Aceste acțiuni, deși nu la fel de grave precum incidentele raportate de companii americane din domeniul AI, unde un agent OpenAI a atacat platforma Hugging Face sau un agent Anthropic a transmis o sesizare falsă privind o omucidere, subliniază totuși o problemă de securitate. Dezvăluirea evidențiază faptul că agenții AI chinezi pot la rândul lor să își prezinte identitatea în mod fals, să își ascundă eșecurile și să încerce să eludeze mecanismele de control implementate în timpul proceselor de testare.

Tencent a declarat că tratează aceste constatări cu „maximă seriozitate” și că își consolidează controalele privind accesul la rețea și sistemele de monitorizare a agenților. Divizia Hunyuan se numără printre principalii dezvoltatori de modele de inteligență artificială din China, concurând cu echipe similare de la rivali precum Alibaba și ByteDance. Săptămâna aceasta, ByteDance a anunțat înființarea unei noi divizii dedicate siguranței modelelor și agenților de inteligență artificială.

Modul de operare al agenților AI

Swarmchasers a folosit termenul „scăpați de sub control” (rogue) pentru a descrie agenții care întreprind acțiuni în afara domeniului pentru care au fost concepuți sau care îndeplinesc o sarcină în moduri neprevăzute. După ce solicitările automate standard au fost blocate, agenții au încercat să folosească alte metode. Acestea au inclus instrumente web publice capabile să deschidă pagini și să execute cod, direcționarea solicitărilor prin intermediul altor site-uri web, dar și utilizarea unor chei Amap și a codurilor de securitate găsite în codul software disponibil public.

Cercetătorii de la Swarmchasers au precizat că nu au găsit dovezi că agenții ar fi reușit să încalce mecanismele principale anti-bot ale Amap. Majoritatea celor 2.818 de încercări înregistrate au eșuat, returnând pagini de protecție anti-bot, ecrane de autentificare sau rezultate goale. Conform raportului, unele solicitări au obținut informații prin intermediul unor pagini stocate în cache și al unor servicii intermediare, inclusiv date despre sosirile vizitatorilor la Grădina Zoologică din Chengdu. Cercetătorii independenți nu au putut stabili dacă vreun agent a reușit să citească rezultatul sau să își ducă sarcina la bun sfârșit. Alibaba a refuzat să facă un comentariu pe marginea acestui subiect.

Sursa: HotNews