Ce planuri are OpenLLM-Ro, comunitatea care dezvoltă tehnologii AI pentru limba română

Reading Time: 3 minute

În luna mai, o echipă de cercetători români a creat un model de limbaj (LLM – large language model) dedicat limbii române, ce poate fi folosit pentru dezvoltarea unor unelte și platforme AI.

Modelul este „open source”, deci va putea fi accesat și folosit de oricine dorește să construiască instrumente bazate pe inteligența artificială. Inițiatorii proiectului au lansat și comunitatea OpenLLM-Ro, care dorește să-i aducă împreună pe toți cei care vor să contribuie în diverse forme la dezvoltarea tehnologiilor AI pentru limba română.

Ambele proiecte sunt inițiate și derulate de către POLITEHNICA București, Universitatea din București și Institutul de Logica și Știința Datelor, cu sprijinul BRD Groupe Société Générale. Am aflat mai multe detalii de la Horia-Bogdan Velicu, Head of Innovation Lab @ BRD.

Horia Velicu BRD — Horia-Bogdan Velicu, Head of Innovation Lab @ BRD

Cum a apărut ideea proiectului?

Eram în martie 2023, la puțin timp de la lansarea Chat GPT și deja aveam utilizatori printre colegi. Așa că ne-a venit ideea unui chat în limba română. Știam că dacă ne dorim să fie open source, modelele internaționale dezvoltate de companiile din US nu gestionau limba română suficient de bine, așa că ne-am gândit că va fi nevoie de un astfel de model dedicat.

Câți oameni lucrează activ la el?

3 doctoranzi de la UPB și UB sunt implicați activ în dezvoltarea de zi cu zi, dar avem o echipă mai mare de aproape 10 persoane care sunt implicate voluntar, fără a fi însă singurul lor proiect.

De ce este nevoie de un LLM în limba română?

Sunt diverse entități din societatea românească care doresc să folosească „ingrediente” open source pentru a implementa soluții de tip chat GPT interne, fără să plătească licențe către companiile de tech. Pentru aceasta, trebuie ca modelele să înțeleagă și să vorbească limba română suficient de bine. Modelele multi language nu au avut parte de un text suficient de larg și de variat în limba română pentru a deveni performante, așa că este nevoie ca cineva să antreneze astfel de modele cu un corpus suficient de mare de documente românești, undeva la câteva zeci de milioane de texte.

Pe ce “antrenați” tehnologia?

Deocamdată este antrenată pe infrastructura internă UPB pentru proiecte de cercetare.

Lucrați în sistem open source. Aveți un model de business pe termen mediu și lung pentru tehnologiile dezvoltate?

Nu ne dorim să monetizăm această inițiativă care este finanțată din bugete de sponsorizări. Partenerul nostru principal este BRD Groupe Société Générale, care este un bun exemplu de actor economic care înțelege nevoia de a investi în toate tehnologiile emergente și care știe că poate beneficia de pe urma unui astfel de model pe termen mediu și lung.

Ați lansat și comunitatea OpenLLM-Ro. De ce? Pe cine ați adunat aici?

Antrenarea acestor modele este ceva continuu pentru că mereu apar modele internaționale din ce în ce mai performante, care vor trebui apoi adaptate pentru limba română. Un astfel de efort nu poate fi susținut doar de câteva entități, ci trebuie să devină un proces comun în care să se implice mai mulți actori din economie: alte companii, universități, ONG-uri, instituții guvernamentale și, de ce nu, fonduri de capital.

Care sunt provocările unui LLM pentru limba română?

În primul rând textul pe care l-a citit în vederea antrenării. Dacă este prea generic, atunci nu va face față într-un mediu specific, cum ar fi domeniul finanțelor, domeniul medical, domeniul legal etc. De aceea trebuie antrenate și modele specializate pe domenii.

În al doilea rând, capacitatea de a răspunde coerent la întrebările utilizatorilor, și asta presupune un anumit set de întrebări și răspunsuri pe care trebuie să le aibă drept exemplu la momentul antrenării. Uneori modelele internaționale, când sunt întrebate ceva în limba română, răspund ceva în română și apoi brusc continuă în engleză.

Ce planuri de dezvoltare aveți?

Să creștem comunitatea și să o organizăm cât mai bine pentru a folosi resursele pe care diverșii actori (economici, instituționali etc) doresc să le pună la dispoziție, să mărim numărul de companii care să finanțeze colaborarea cercetărilor, să obținem acces gratuit și la altă infrastructură cloud, pe lângă cea oferită de UPB/Google.