L’idea
Un LLM produce le continuazioni probabili di un testo e non verifica i fatti: può inventare citazioni, numeri, riferimenti bibliografici o dettagli. La letteratura distingue le allucinazioni «intrinseche», che contraddicono il materiale di partenza, da quelle «estrinseche», che aggiungono informazioni non verificabili a partire da quel materiale (Maynez et al., 2020; Ji et al., 2023). La RAG e il controllo delle citazioni riducono il problema, senza eliminarlo.
Un esempio
Chiesto di indicare paper su un argomento, un modello può restituire titoli e autori plausibili di articoli che non esistono. Per questo le fonti citate da un modello vanno sempre controllate.
Da dove viene
- Maynez et al. (2020), «On Faithfulness and Factuality in Abstractive Summarization». arXiv:2005.00661
- Ji et al. (2023), «Survey of Hallucination in Natural Language Generation», ACM Computing Surveys. arXiv:2202.03629