L’idea
I documenti vengono divisi in parti e indicizzati, spesso tramite embedding. Quando arriva una domanda, si cercano le parti più simili e le si aggiungono al prompt, dentro la finestra di contesto. Il modello risponde basandosi anche su quei passaggi e può citarli. Vantaggi: si usano informazioni aggiornate o interne a un’organizzazione senza riaddestrare il modello, e le risposte si possono controllare sulle fonti. Limiti: se il recupero trova i passaggi sbagliati la risposta peggiora, e il modello può comunque ignorare o travisare i documenti, producendo allucinazioni. Il termine viene da Lewis et al. (2020).
Da dove viene
- Lewis et al. (2020), «Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks». arXiv:2005.11401