| Title: |
Derby LLM : Évaluation comparative des approches RAG et fine-tuning |
| Authors: |
Bouvard, Christophe; Ciancone, Mathieu; Gourru, Antoine; Schaeffer, Marion |
| Contributors: |
Wikit; Laboratoire Hubert Curien (LabHC); Institut d'Optique Graduate School (IOGS)-Université Jean Monnet - Saint-Étienne (UJM)-Centre National de la Recherche Scientifique (CNRS); AFIA-Association Française pour l'Intelligence Artificielle; Ghislain Atemezing, Catherine Roussey |
| Source: |
Actes de la 10 ème Conférence Nationale sur les Applications Pratiques de l’Intelligence Artificielle (APIA) ; 10 ème Conférence Nationale sur les Applications Pratiques de l’Intelligence Artificielle ; https://hal.science/hal-04638460 ; 10 ème Conférence Nationale sur les Applications Pratiques de l’Intelligence Artificielle, AFIA-Association Française pour l'Intelligence Artificielle, Jul 2024, La Rochelle, France. pp.38-47 |
| Publisher Information: |
CCSD; AFIA-Association Française pour l'Intelligence Artificielle |
| Publication Year: |
2024 |
| Collection: |
Université Jean Monnet – Saint-Etienne: HAL |
| Subject Terms: |
LLM; RAG; Fine-tuning; Benchmark; Evaluation; [INFO.INFO-TT]Computer Science [cs]/Document and Text Processing |
| Subject Geographic: |
La Rochelle; France |
| Description: |
National audience ; Les grands modèles de langage ont récemment été largement exploités dans les agents conversationnels, où l’injection de connaissances pour des domaines d’applications spécifiques est un enjeu crucial. Nous comparons deux approches : le fine-tuning et la génération augmentée de récupération. Nous évaluons ces techniques pour deux cas d’usage différents avec des métriques automatiques et la préférence humaine. Bien que la pertinence des réponses soit proche, la fidélité et la préférence humaine avantagent la génération augmentée de récupération. |
| Document Type: |
conference object |
| Language: |
French |
| Availability: |
https://hal.science/hal-04638460; https://hal.science/hal-04638460v1/document; https://hal.science/hal-04638460v1/file/PFIA-2024.pdf |
| Rights: |
http://creativecommons.org/licenses/by-nc/ ; info:eu-repo/semantics/OpenAccess |
| Accession Number: |
edsbas.AE5ACD1C |
| Database: |
BASE |