L’idea
Un modello non legge lettere né parole, ma sequenze di numeri: ogni token corrisponde a un identificativo in un vocabolario fisso. I metodi più usati, come il byte pair encoding (BPE), costruiscono il vocabolario unendo le sequenze di caratteri più frequenti nei testi di addestramento: le parole comuni restano intere, quelle rare si spezzano in sottoparole. Ogni token viene poi trasformato in un vettore (embedding). Due conseguenze pratiche: costi e limiti dei modelli si misurano in token, compresa la finestra di contesto; e la stessa frase può richiedere un numero diverso di token a seconda della lingua, in base a come è stato costruito il vocabolario.
Da dove viene
- Sennrich, Haddow, Birch (2015), «Neural Machine Translation of Rare Words with Subword Units»: il BPE applicato alle sottoparole. arXiv:1508.07909
- Kudo, Richardson (2018), «SentencePiece». arXiv:1808.06226