RLHF (reinforcement learning from human feedback)

L’idea

I passaggi principali sono tre. Si raccolgono confronti tra coppie di risposte giudicate da persone. Si addestra un modello di ricompensa (reward model) a prevedere quale risposta verrebbe preferita. Infine si ottimizza il modello linguistico con l’apprendimento per rinforzo, perché ottenga ricompense alte senza allontanarsi troppo dal modello di partenza. Christiano et al. (2017) applicarono l’idea a compiti di controllo; Ouyang et al. (2022, InstructGPT) la usarono per addestrare un LLM a seguire le istruzioni. Il modello impara ciò che i valutatori premiano, che non coincide sempre con ciò che è vero: è uno dei motivi per cui le allucinazioni non scompaiono.

Da dove viene

• Christiano et al. (2017), «Deep reinforcement learning from human preferences». arXiv:1706.03741
• Ouyang et al. (2022), «Training language models to follow instructions with human feedback». arXiv:2203.02155

Concetti collegati

• Fine-tuning
• LLM (modello linguistico di grandi dimensioni)
• Allucinazione