Derby LLM : Évaluation comparative des approches RAG et fine-tuning

Christophe Bouvard (1) , Mathieu Ciancone (1) , Antoine Gourru (2) , Marion Schaeffer (1)

1 Wikit
2 LabHC - Laboratoire Hubert Curien

Les grands modèles de langage ont récemment été largement exploités dans les agents conversationnels, où l’injection de connaissances pour des domaines d’applications spécifiques est un enjeu crucial. Nous comparons deux approches : le fine-tuning et la génération augmentée de récupération. Nous évaluons ces techniques pour deux cas d’usage différents avec des métriques automatiques et la préférence humaine. Bien que la pertinence des réponses soit proche, la fidélité et la préférence humaine avantagent la génération augmentée de récupération.

Mots clés: LLM; RAG; Fine-tuning; Benchmark; Evaluation

Domaines: Traitement du texte et du document

Christophe Bouvard, Mathieu Ciancone, Antoine Gourru, Marion Schaeffer. Derby LLM : Évaluation comparative des approches RAG et fine-tuning. 10 ème Conférence Nationale sur les Applications Pratiques de l’Intelligence Artificielle, AFIA-Association Française pour l'Intelligence Artificielle, Jul 2024, La Rochelle, France. pp.38-47. ⟨hal-04638460⟩