L’idea
Le architetture usate prima per il testo, le reti ricorrenti, leggevano la sequenza un elemento alla volta. Il Transformer elabora tutti gli elementi in parallelo e usa l’attenzione per mettere in relazione ciascuno con gli altri. Il testo viene prima diviso in token (tokenizzazione) e trasformato in vettori (embedding); a questi si aggiunge un’informazione sulla posizione, perché l’attenzione da sola non tiene conto dell’ordine. Blocchi di attenzione e strati feed-forward si ripetono molte volte. L’elaborazione in parallelo rende l’addestramento efficiente sulle GPU, uno dei motivi della sua diffusione. Ne esistono tre famiglie: solo encoder (come BERT), solo decoder (come i modelli GPT, e la maggior parte degli LLM) ed encoder-decoder, la forma originale, pensata per la traduzione.
Da dove viene
- Vaswani et al. (2017), «Attention Is All You Need». arXiv:1706.03762
- Devlin et al. (2018), «BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding». arXiv:1810.04805