L’idea
L’addestramento avviene in fasi. Nel pre-addestramento il modello impara a prevedere il token successivo su enormi raccolte di testi. Poi, con il fine-tuning e tecniche come la RLHF, viene adattato a seguire istruzioni e a rispondere in modo utile. Genera il testo un token alla volta, scegliendo ogni volta tra le continuazioni probabili. Brown et al. (2020) mostrarono con GPT-3 che un modello abbastanza grande può svolgere compiti nuovi a partire da pochi esempi scritti nel prompt, senza riaddestramento; le leggi di scala descrivono come migliora al crescere delle dimensioni. Limiti: può produrre allucinazioni, vede solo ciò che sta nella finestra di contesto e le sue conoscenze si fermano ai dati di addestramento.
Da dove viene
- Vaswani et al. (2017), «Attention Is All You Need». arXiv:1706.03762
- Brown et al. (2020), «Language Models are Few-Shot Learners». arXiv:2005.14165