L’idea
Per ogni token il modello calcola tre vettori: query, key e value. Il confronto tra la query di un token e le key degli altri produce dei punteggi, che vengono normalizzati (con la funzione softmax) in pesi che sommano a 1. Il risultato è la media dei value, pesata con quei pesi: ogni parola «guarda» le altre con intensità diversa. Nella self-attention una sequenza confronta sé stessa. Nel Transformer più «teste» di attenzione lavorano in parallelo e possono cogliere relazioni diverse. Il calcolo cresce con il quadrato della lunghezza della sequenza: è uno dei limiti della finestra di contesto.
Un esempio
Nella frase «Il vaso non entra nella scatola perché è troppo grande», per interpretare «è» il modello può dare più peso a «vaso» che a «scatola».
Da dove viene
- Bahdanau, Cho, Bengio (2014), «Neural Machine Translation by Jointly Learning to Align and Translate»: introduce l’attenzione nella traduzione automatica, come aggiunta alle reti ricorrenti. arXiv:1409.0473
- Vaswani et al. (2017), «Attention Is All You Need»: l’attenzione diventa il componente centrale dell’architettura Transformer. arXiv:1706.03762