L’idea
Kaplan et al. (2020) misurarono che la perdita dei modelli linguistici segue andamenti regolari su molti ordini di grandezza: questo permette di stimare in anticipo il risultato di un addestramento più grande. Hoffmann et al. (2022, il modello «Chinchilla») rividero la ripartizione ottimale: a parità di calcolo conviene far crescere numero di parametri e quantità di dati in proporzione simile, e molti LLM dell’epoca risultavano sottoaddestrati rispetto alla loro dimensione. Sono regolarità osservate, non leggi fisiche; riguardano la perdita misurata durante l’addestramento, che non si traduce in modo diretto nelle capacità su compiti specifici.
Da dove viene
- Kaplan et al. (2020), «Scaling Laws for Neural Language Models». arXiv:2001.08361
- Hoffmann et al. (2022), «Training Compute-Optimal Large Language Models». arXiv:2203.15556