compania openai a recunoscut recent că modul în care au fost antrenate modelele de inteligență artificială a contribuit direct la fenomenul numit „halucinații”, răspunsuri false, generate cu încredere, dar fără acoperire factuală. această problemă reprezintă una dintre cele mai mari dificultăți pentru modelele lingvistice avansate, chiar și pentru cele mai recente.

modul în care modelele sunt evaluate este una dintre principalele cauze ale acestor „halucinații”. în prezent, sistemele primesc recompense pentru răspunsuri corecte și penalizări pentru cele greșite, însă dacă un model admite că nu știe, rezultatul este tot considerat incorect. această abordare stimulează „ghicitul”, pentru că există șanse ca răspunsul inventat să fie apreciat drept corect.

openai propune o schimbare de abordare pentru a rezolva aceste probleme. compania sugerează ca erorile făcute cu încredere să fie penalizate mai sever decât exprimarea incertitudinii, iar modelele care recunosc limitele să fie recompensate parțial. aceste ajustări simple ar putea schimba radical comportamentul modelelor și ar reduce frecvența halucinațiilor.

industria inteligenței artificiale se confruntă astfel cu o provocare majoră: să justifice investițiile uriașe și impactul ecologic al acestor tehnologii, în timp ce caută să reducă erorile fundamentale. openai promite că va continua să „lucreze intens” pentru a face modelele mai sigure și mai apropiate de realitate. este important să urmărim evoluțiile în acest domeniu și să ne informăm continuu despre noile dezvoltări și soluții.