Arhitectura Transformer

Definiția Arhitecturii Transformer

Arhitectura Transformer este un design revoluționar de rețea neuronală introdus în articolul din 2017 “Attention is All You Need” de cercetătorii de la Google. Aceasta se bazează fundamental pe mecanisme de autoatenție multi-head, care permit modelelor să proceseze secvențe întregi de date în paralel, nu secvențial. Arhitectura constă din straturi stivuite de encoder și decoder, fiecare conținând sub-straturi de autoatenție și rețele neuronale feed-forward, conectate prin conexiuni reziduale și normalizare de strat. Arhitectura Transformer a devenit tehnologia fundamentală care stă la baza aproape tuturor marilor modele lingvistice (LLM) moderne, inclusiv ChatGPT, Claude, Perplexity și Google AI Overviews, făcând-o, probabil, cea mai importantă inovație în rețelele neuronale din ultimul deceniu.

Semnificația Arhitecturii Transformer depășește cu mult eleganța sa tehnică. Lucrarea „Attention is All You Need” din 2017 a fost citată de peste 208.000 de ori, devenind unul dintre cele mai influente articole din istoria machine learning-ului. Această arhitectură a schimbat fundamental modul în care sistemele AI procesează și înțeleg limbajul, permițând dezvoltarea unor modele cu miliarde de parametri care pot realiza raționamente sofisticate, scriere creativă și rezolvare complexă de probleme. Piața enterprise LLM, construită aproape în totalitate pe tehnologia transformer, a fost evaluată la 6,7 miliarde de dolari în 2024 și se preconizează că va crește cu o rată anuală compusă de 26,1% până în 2034, demonstrând importanța critică a arhitecturii pentru infrastructura AI modernă.

Context istoric și evoluție

Dezvoltarea Arhitecturii Transformer reprezintă un moment esențial în istoria deep learning-ului, apărut ca rezultat al deceniilor de cercetare privind rețelele neuronale pentru procesarea datelor secvențiale. Înainte de transformer-e, rețelele neuronale recurente (RNN) și variantele lor, în special rețelele LSTM (Long Short-Term Memory), dominau sarcinile de procesare a limbajului natural. Totuși, aceste arhitecturi aveau limitări fundamentale: procesau secvențele secvențial, câte un element pe rând, ceea ce le făcea lente la antrenare și greu de utilizat pentru captarea dependențelor dintre elemente îndepărtate din secvențe lungi. Problema gradientului care dispare limita și mai mult capacitatea RNN-urilor de a învăța relații pe termen lung, deoarece gradientul devenea exponențial mai mic pe măsură ce se propaga înapoi prin multe straturi.

Introducerea mecanismelor de atenție în 2014 de către Bahdanau și colegii săi a constituit o descoperire majoră, permițând modelelor să se concentreze pe părțile relevante din secvențele de intrare, indiferent de distanță. Totuși, atenția era folosită inițial ca un adaos la RNN-uri, nu ca un înlocuitor. Articolul Transformer din 2017 a dus conceptul mai departe, propunând că atenția este tot ce ai nevoie—adică, o arhitectură întreagă de rețea neuronală putea fi construită folosind doar mecanisme de atenție și straturi feed-forward, eliminând complet recurența. Această intuiție s-a dovedit transformatoare. Prin eliminarea procesării secvențiale, transformer-ele au permis paralelizarea masivă, oferind cercetătorilor posibilitatea să antreneze modele pe cantități fără precedent de date folosind GPU-uri și TPU-uri. Cel mai mare model transformer din lucrarea originală, antrenat pe 8 GPU-uri timp de 3,5 zile, a demonstrat că scala și paralelizarea pot duce la îmbunătățiri dramatice de performanță.

După articolul original, arhitectura a evoluat rapid. BERT (Bidirectional Encoder Representations from Transformers), lansat de Google în 2019, a demonstrat că encoder-ele transformer pot fi pre-antrenate pe corpuri masive de text și apoi ajustate pentru diverse sarcini. Cel mai mare model BERT conținea 345 milioane de parametri și a fost antrenat pe 64 de TPU-uri specializate timp de patru zile la un cost estimat de 7.000$, atingând rezultate de top pe numeroase benchmark-uri de înțelegere a limbajului. Simultan, seria GPT a OpenAI a urmat un alt traseu, folosind arhitecturi transformer doar cu decoder antrenate pe sarcini de modelare lingvistică. GPT-2, cu 1,5 miliarde de parametri, a surprins comunitatea de cercetare demonstrând că modelarea limbajului simplă poate produce sisteme remarcabil de capabile. GPT-3, cu 175 de miliarde de parametri, a prezentat capacități emergente—abilități care apar doar la scară mare, precum few-shot learning și raționament complex—schimbând fundamental așteptările legate de ceea ce pot realiza sistemele AI.

Componente tehnice de bază și mecanisme

Arhitectura Transformer cuprinde mai multe componente tehnice interconectate care lucrează împreună pentru a permite procesarea eficientă în paralel și înțelegerea sofisticată a contextului. Stratul de embedding de intrare convertește token-urile discrete (cuvinte sau subunități) în reprezentări vectoriale continue, de obicei de dimensiune 512 sau mai mare. Aceste embedding-uri sunt augmentate cu codificare pozițională, care adaugă informații despre poziția fiecărui token în secvență folosind funcții sinus și cosinus la frecvențe diferite. Această informație de poziție este esențială, deoarece, spre deosebire de RNN-uri care păstrează implicit ordinea prin structură recurentă, transformer-ele procesează toate token-urile simultan și au nevoie de semnale explicite despre poziție pentru a înțelege ordinea cuvintelor și distanțele relative.

Mecanismul de autoatenție este inovația arhitecturală care distinge transformer-ele de toate design-urile anterioare de rețele neuronale. Pentru fiecare token din secvența de intrare, modelul calculează trei vectori: un vector Query (care reprezintă ce informație caută token-ul), vectori Key (care reprezintă ce informație conține fiecare token) și vectori Value (care reprezintă informația ce trebuie transmisă mai departe). Mecanismul de atenție calculează un scor de similaritate între Query-ul fiecărui token și Key-urile tuturor token-urilor folosind produse scalare, normalizează aceste scoruri cu softmax pentru a crea greutăți de atenție între 0 și 1 și folosește aceste greutăți pentru a face o sumă ponderată a vectorilor Value. Acest proces permite fiecărui token să se concentreze selectiv pe alți token-i relevanți, permițând modelului să înțeleagă contextul și relațiile.

Atenția multi-head extinde acest concept rulând mai multe mecanisme de atenție în paralel, de obicei 8, 12 sau 16 capete. Fiecare cap operează pe proiecții liniare diferite ale vectorilor Query, Key și Value, permițând modelului să acorde atenție la diferite tipuri de relații și tipare în subspații de reprezentare diferite. De exemplu, un cap de atenție poate fi specializat pe relații sintactice între cuvinte, altul pe relații semantice sau dependențe pe distanțe lungi. Ieșirile tuturor capetelor sunt concatenate și transformate liniar, oferind modelului informații contextuale bogate și variate. Această abordare s-a dovedit extrem de eficientă, cercetările arătând că diferite capete învață să se specializeze pe fenomene lingvistice distincte.

Structura encoder-decoder organizează aceste mecanisme de atenție într-o succesiune ierarhică de procesare. Encoder-ul constă din mai multe straturi stivuite (de obicei 6 sau mai multe), fiecare conținând un sub-strat de autoatenție multi-head urmat de o rețea feed-forward aplicată pozițional. Conexiunile reziduale din jurul fiecărui sub-strat permit gradientului să curgă direct prin rețea în timpul antrenării, îmbunătățind stabilitatea și permițând arhitecturi mai adânci. Normalizarea de strat este aplicată după fiecare sub-strat, normalizând activările pentru a menține scara acestora constantă. Decoder-ul are o structură similară, dar include un sub-strat suplimentar de atenție encoder-decoder care permite decoder-ului să acorde atenție ieșirii encoder-ului, astfel încât modelul să se concentreze pe părțile relevante din intrare la generarea fiecărui token de ieșire. În arhitecturile doar cu decoder, precum GPT, decoder-ul generează token-urile de ieșire în mod autoregresiv, fiecare token nou fiind condiționat de toate cele generate anterior.

Tabel comparativ: Arhitectura Transformer vs. Arhitecturi alternative

Cum alimentează Arhitectura Transformer LLM-urile moderne

Relația dintre Arhitectura Transformer și modelele lingvistice mari moderne este fundamentală și inseparabilă. Fiecare LLM major lansat în ultimii cinci ani—incluzând GPT-4 de la OpenAI, Claude de la Anthropic, Llama de la Meta, Gemini de la Google, Granite de la IBM și modelele AI Perplexity—este construit pe arhitectura transformer. Capacitatea arhitecturii de a se scala eficient atât cu dimensiunea modelului, cât și cu datele de antrenament s-a dovedit esențială pentru obținerea capabilităților care definesc sistemele AI moderne. Când cercetătorii au crescut dimensiunea modelelor de la milioane la miliarde și sute de miliarde de parametri, paralelizarea și mecanismele de atenție ale arhitecturii transformer au permis această scalare fără o creștere proporțională a timpului de antrenare.

Procesul de decodare autoregresivă folosit de majoritatea LLM-urilor moderne este o aplicație directă a arhitecturii decoder-ului transformer. La generarea de text, aceste modele procesează promptul de intrare prin encoder (sau, în modelele doar cu decoder, prin întregul decoder), apoi generează token-urile de ieșire unul câte unul. Fiecare token nou este generat prin calcularea distribuției de probabilitate peste întregul vocabular cu softmax, modelul selectând token-ul cu probabilitatea cea mai mare (sau eșantionând din distribuție în funcție de temperatura aleasă). Acest proces, repetat de sute sau mii de ori, produce texte coerente și adecvate contextului. Mecanismul de autoatenție permite modelului să mențină contextul pe întregul lanț generat, permițându-i să producă pasaje lungi, coerente, cu teme, personaje și logică consistente.

Capacitățile emergente observate la modelele transformer mari—abilități care apar doar la scară suficientă, precum few-shot learning, chain-of-thought reasoning și in-context learning—sunt consecințe directe ale designului arhitecturii transformer. Abilitatea mecanismului multi-head attention de a capta relații diverse, combinată cu numărul masiv de parametri și antrenamentul pe date variate, permite acestor sisteme să rezolve sarcini pentru care nu au fost antrenate explicit. De exemplu, GPT-3 era capabil să facă aritmetică, să scrie cod și să răspundă la întrebări de cultură generală, deși a fost antrenat doar pe modelare lingvistică. Aceste proprietăți emergente au făcut ca LLM-urile bazate pe transformer să devină fundația revoluției AI moderne, cu aplicații de la AI conversațional și generare de conținut până la sinteză de cod și asistență pentru cercetare științifică.

Mecanismul de autoatenție: Inovația centrală

Mecanismul de autoatenție este inovația arhitecturală care distinge fundamental transformer-ele și explică performanța lor superioară comparativ cu abordările anterioare. Pentru a înțelege autoatenția, luați exemplul interpretării pronumelor ambigue în limbaj. În propoziția „Trofeul nu încape în valiză pentru că este prea mare”, pronumele „este” poate face referire la trofeu sau la valiză, dar contextul indică trofeul. În propoziția „Trofeul nu încape în valiză pentru că este prea mică”, același pronume se referă acum la valiză. Un model transformer trebuie să învețe să rezolve astfel de ambiguități înțelegând relațiile dintre cuvinte.

Autoatenția realizează acest lucru printr-un proces matematic elegant. Pentru fiecare token din secvența de intrare, modelul calculează un vector Query multiplicând embedding-ul token-ului cu o matrice de greutăți WQ învățată. Similar, calculează vectorii Key (folosind WK) și vectorii Value (folosind WV) pentru toți token-ii. Scorul de atenție dintre Query-ul unui token și Key-ul altuia se calculează ca produs scalar al acestor vectori, normalizat cu rădăcina pătrată a dimensiunii key-ului (de obicei √64 ≈ 8). Aceste scoruri brute trec printr-o funcție softmax, care le transformă în greutăți de atenție normalizate, suma acestora fiind 1. În final, ieșirea pentru fiecare token se calculează ca sumă ponderată a tuturor vectorilor Value, unde ponderile sunt scorurile de atenție. Acest proces permite fiecărui token să agrege selectiv informație de la toți ceilalți token-i, cu ponderile învățate pe parcursul antrenării pentru a capta relații semnificative.

Eleganța matematică a autoatenției permite calcul eficient. Întregul proces poate fi exprimat ca operații matriciale: Attention(Q, K, V) = softmax(QK^T / √d_k)V, unde Q, K și V sunt matrici ce conțin toți vectorii query, key și value respectiv. Această formulare matricială permite accelerare pe GPU, astfel încât transformer-ele pot procesa întreaga secvență în paralel, nu secvențial. O secvență de 512 token-uri poate fi procesată cam în același timp ca un singur token într-un RNN, făcând transformer-ele cu ordine de mărime mai rapide la antrenare. Această eficiență computațională, combinată cu abilitatea atenției de a capta dependențe pe distanțe lungi, explică de ce transformer-ele au devenit arhitectura dominantă pentru modelarea limbajului.

Atenția multi-head și învățarea reprezentărilor

Atenția multi-head extinde mecanismul de autoatenție rulând mai multe operații de atenție în paralel, fiecare învățând alte aspecte ale relațiilor dintre token-uri. Într-un transformer tipic cu 8 capete de atenție, embedding-urile de intrare sunt proiectate liniar în 8 subspații diferite de reprezentare, fiecare cu propria matrice de greutăți Query, Key și Value. Fiecare cap calculează independent greutățile de atenție și produce vectori de ieșire. Aceste ieșiri sunt concatenate și transformate liniar printr-o matrice finală de greutăți, rezultând ieșirea finală multi-head attention. Această arhitectură permite modelului să acorde atenție simultan la informații din subspații de reprezentare diferite, poziționate diferit.

Analiza modelelor transformer antrenate a arătat că diferite capete de atenție se specializează pe fenomene lingvistice distincte. Unele capete se concentrează pe relații sintactice, învățând să acorde atenție cuvintelor legate gramatical (de ex., verbele către subiecte și obiecte). Alte capete se concentrează pe relații semantice, învățând să acorde atenție cuvintelor cu sensuri apropiate. Altele captează dependențe pe distanțe lungi, acordând atenție cuvintelor aflate departe în secvență, dar semnificative semantic. Unele capete învață chiar să acorde atenție mai ales token-ului curent, acționând ca operații de identitate. Această specializare apare natural în timpul antrenamentului, fără supervizare explicită, demonstrând puterea arhitecturii multi-head de a învăța reprezentări diverse și complementare.

Numărul capetelor de atenție este un hiperparametru arhitectural cheie. Modelele mai mari folosesc de obicei mai multe capete (16, 32 sau chiar mai multe), permițând captarea unor relații mai diverse. Totuși, dimensiunea totală a atenției rămâne de regulă constantă, astfel încât mai multe capete înseamnă dimensiuni mai mici per cap. Această alegere echilibrează beneficiile mai multor subspații de reprezentare cu eficiența computațională. Abordarea multi-head s-a dovedit atât de eficientă încât a devenit standard pentru aproape toate implementările transformer moderne, de la BERT și GPT la arhitecturi specializate pentru viziune, audio și sarcini multimodale.

Arhitectura encoder-decoder și procesarea secvență-la-secvență

Arhitectura originală transformer, așa cum apare în „Attention is All You Need”, folosește o structură encoder-decoder optimizată pentru sarcini de tip secvență-la-secvență, precum traducerea automată. Encoder-ul procesează secvența de intrare și produce o secvență de reprezentări bogate în context. Fiecare strat encoder conține două componente principale: un sub-strat de autoatenție multi-head care permite token-ilor să acorde atenție altor token-i din intrare și o rețea feed-forward pozițională care aplică aceeași transformare neliniară fiecărei poziții independent. Aceste sub-straturi sunt conectate prin conexiuni reziduale (numite și skip connections), care adaugă intrarea la ieșirea fiecărui sub-strat. Această alegere de design, inspirată de rețelele reziduale din viziunea computerizată, permite antrenarea unor rețele foarte adânci, deoarece gradientul curge direct prin rețea.

Decoder-ul generează secvența de ieșire token cu token, folosind informații atât de la encoder cât și de la token-urile generate anterior. Fiecare strat decoder conține trei componente principale: un sub-strat de autoatenție mascat care permite fiecărui token să acorde atenție doar token-urilor anterioare (prevenind „trișarea” modelului privind token-urile viitoare în antrenament), un sub-strat de atenție encoder-decoder care permite token-ilor decoderului să acorde atenție la ieșirile encoderului și o rețea feed-forward pozițională. Masca din sub-stratul de autoatenție este crucială: previne fluxul de informație de la poziții viitoare la cele prezente, asigurând ca predicțiile pentru poziția i să depindă doar de ieșirile cunoscute la poziții mai mici decât i. Această structură autoregresivă este esențială pentru generarea secvențelor token cu token.

Arhitectura encoder-decoder s-a dovedit deosebit de eficientă pentru sarcini unde intrarea și ieșirea au structuri sau lungimi diferite, precum traducere automată, sumarizare de documente sau răspuns la întrebări. Totuși, LLM-urile moderne precum GPT folosesc arhitecturi doar cu decoder, unde o singură stivă de straturi decoder procesează atât promptul de intrare, cât și generarea ieșirii. Această simplificare reduce complexitatea modelului și s-a dovedit cel puțin la fel de eficientă pentru sarcini de modelare lingvistică, probabil deoarece modelul poate învăța să folosească autoatenția pentru a procesa intrarea și a genera ieșirea într-o manieră unificată.

Codificarea pozițională și ordinea secvenței

O provocare critică în arhitectura transformer este reprezentarea ordinii token-urilor într-o secvență. Spre deosebire de RNN-uri, care păstrează implicit ordinea prin structură recurentă, transformer-ele procesează toate token-urile în paralel și nu au o noțiune încorporată a poziției. Fără informație explicită despre poziție, un transformer ar trata secvența „Pisica stă pe covor” identic cu „covor pe stă pisica”, ceea ce ar fi catastrofal pentru înțelegerea limbajului. Soluția este codificarea pozițională, care adaugă vectori dependenți de poziție la embedding-urile token-urilor înainte de procesare.

Lucrarea originală transformer folosește codificări poziționale sinusoidale, unde vectorul de poziție pentru poziția pos și dimensiunea i se calculează astfel:

• PE(pos, 2i) = sin(pos / 10000^(2i/d_model))
• PE(pos, 2i+1) = cos(pos / 10000^(2i/d_model))

Aceste funcții sinusoidale creează un tipar unic pentru fiecare poziție, cu frecvențe diferite pentru dimensiuni diferite. Frecvențele mici (i mai mici) variază lent cu poziția, captând informație de poziție pe distanțe lungi, în timp ce frecvențele mari variază rapid, captând detalii de poziție fine. Acest design are mai multe avantaje: generalizează natural la secvențe mai lungi decât cele din antrenament, oferă tranziții de poziție line și permite modelului să învețe relații de poziție relative. Vectorii de codificare pozițională sunt pur și simplu adăugați la embedding-urile token-urilor înainte de primul strat de atenție, iar modelul învață să folosească aceste informații în timpul antrenării.

Au fost propuse și studiate scheme alternative de codificare pozițională, inclusiv reprezentări de poziție relativă (care encodează distanțele dintre token-uri, nu pozițiile absolute) și rotary position embeddings (RoPE) (care rotește vectorii