RAG vs fine-tuning pour un agent IA : on tranche

Pour 90 % des PME qui veulent déployer un agent IA, le RAG est la bonne réponse. Le fine-tuning, lui, est souvent vendu comme la solution premium alors que c'est rarement ce dont vous avez besoin.

On va démêler ça proprement.

C'est quoi concrètement la différence ?

Le RAG (Retrieval-Augmented Generation) consiste à connecter un modèle de langage à vos données en temps réel. L'agent va chercher l'information dans une base de connaissance externe, puis formule une réponse à partir de ce qu'il trouve. Il n'a pas appris ces données : il les consulte à la volée.

Le fine-tuning, c'est différent. Vous prenez un modèle existant (GPT, Claude, Mistral, peu importe) et vous le réentraînez sur vos propres données. Le modèle intègre vos connaissances dans ses poids. Il n'a plus besoin d'aller chercher : il "sait".

Sur le papier, le fine-tuning semble plus puissant. En pratique, c'est là que la confusion commence.

Pourquoi le RAG gagne presque toujours en contexte PME

Le vrai avantage du RAG, c'est la mise à jour. Votre base documentaire change ? Vous ajoutez un fichier, vous modifiez une fiche produit, vous intégrez un nouveau process RH. L'agent en tient compte immédiatement. Pas besoin de relancer un cycle d'entraînement.

Avec le fine-tuning, chaque mise à jour des données implique un nouveau cycle d'entraînement. C'est long, c'est coûteux, et ça demande une expertise technique sérieuse. Pour une PME dont les catalogues, les tarifs ou les procédures évoluent régulièrement, c'est une contrainte opérationnelle difficile à absorber.

Le RAG règle aussi le problème de traçabilité. Quand l'agent cite une source, vous pouvez vérifier d'où vient l'information. C'est un point critique pour des usages juridiques, RH ou commerciaux où l'on ne peut pas se permettre qu'un modèle hallucine dans le vide.

Les cas où le RAG est clairement le bon choix :

• Base documentaire volumineuse et évolutive (fiches produits, docs techniques, contrats)
• Besoin de traçabilité sur les sources
• Budget et délais contraints
• Équipe sans data scientist en interne
• Premier déploiement : vous tâtez le terrain

Quand le fine-tuning a du sens

Soyons honnêtes : il y a des cas où le fine-tuning apporte quelque chose que le RAG ne peut pas donner.

Le premier, c'est le style. Si vous voulez qu'un agent écrive exactement comme votre marque, avec vos tournures, votre vocabulaire, votre façon de gérer les objections commerciales, le fine-tuning permet d'ancrer ça dans le modèle. Un RAG n'apprendra pas à écrire comme vous, il se contentera de récupérer vos contenus.

Le deuxième cas, c'est la volumétrie de prompt. Le RAG injecte du contexte dans chaque requête, ce qui rallonge les prompts et augmente vos coûts à l'appel. Sur des millions de requêtes par mois, un modèle fine-tuné peut devenir économiquement intéressant parce qu'il n'a pas besoin de ce contexte.

Le troisième cas, c'est le domaine très spécialisé avec peu d'exemples dans les données d'entraînement du modèle de base. Certains jargons techniques, certaines langues peu représentées, certains formats de sortie très spécifiques : là, le fine-tuning peut faire la différence.

Mais franchement, pour une PME de 10 à 200 personnes qui veut un agent capable de répondre à ses clients ou d'automatiser ses process internes, ces cas sont minoritaires. Très minoritaires.

Les pièges qu'on voit le plus souvent

On accompagne des boîtes sur ce sujet depuis qu'on a lancé notre offre agence IA. Le piège numéro un, c'est de croire que fine-tuning = meilleur résultat. C'est faux.

Un modèle fine-tuné sur des données de mauvaise qualité donnera de mauvais résultats. Un RAG bien conçu avec une base documentaire propre, bien indexée, avec des chunks pertinents et un bon système de retrieval, battra souvent un fine-tuning bâclé.

Le deuxième piège : confondre les problèmes. Si votre agent répond à côté, ce n'est pas forcément un problème de modèle. C'est peut-être un problème de prompt, de découpage de vos documents, de qualité de l'index vectoriel, ou simplement de définition du périmètre. Avant de penser fine-tuning, posez-vous la question : est-ce que mes données sont vraiment propres ?

On a vu un client fabricant de composants industriels à Strasbourg, une cinquantaine de salariés, qui voulait absolument fine-tuner son modèle parce qu'un prestataire lui avait vendu ça comme la solution haut de gamme. Budget prévu : 40 000 euros. On a déployé un RAG en 6 semaines pour un tiers du prix. Résultats comparables sur son cas d'usage. Il n'avait pas besoin de plus.

C'est une connerie de vendre du fine-tuning à une boîte qui n'en a pas besoin.

Notre méthode chez Annei pour choisir

Depuis 2009, on a accompagné plus de 2 000 PME. On a développé une grille de décision simple qu'on applique systématiquement avant de recommander une architecture.

Étape 1 : Qualifier la nature des données. Sont-elles statiques ou évolutives ? Si elles changent plus d'une fois par trimestre, le fine-tuning devient une contrainte opérationnelle réelle.

Étape 2 : Définir le besoin de traçabilité. L'agent doit-il citer ses sources ? Dans des contextes réglementés ou commerciaux, c'est souvent non-négociable. Le RAG répond à ce besoin nativement.

Étape 3 : Estimer le volume de requêtes. En dessous de 500 000 appels par mois, les économies du fine-tuning sur les coûts de prompt sont marginales. Au-dessus, le calcul change.

Étape 4 : Évaluer les ressources internes. Qui va maintenir le système ? Le fine-tuning nécessite une compétence ML que la plupart des PME n'ont pas en interne. Le RAG peut être maintenu par un profil technique intermédiaire.

Étape 5 : Prototyper avant de décider. On ne choisit jamais une architecture sur tableau Excel. On construit un prototype RAG, on le teste sur des cas réels, et on voit si le delta de performance justifie d'aller plus loin.

Si vous voulez comprendre comment cette décision s'intègre dans une architecture complète, on détaille l'architecture d'un agent IA en production ici.

En pratique : le cas d'une PME retail

Une enseigne de distribution spécialisée dans le sport outdoor, basée en Alsace, une centaine de références fournisseurs et environ 80 collaborateurs, est venue nous voir début 2025. Elle voulait un agent capable de répondre aux questions des commerciaux terrain sur les caractéristiques produits, les disponibilités et les conditions tarifaires.

Première réaction du DSI : "On devrait fine-tuner un modèle sur notre catalogue." Catalogue de 4 000 références, mis à jour chaque saison.

On a posé nos 5 questions. Données évolutives : oui. Besoin de traçabilité sur les prix : oui. Volume de requêtes : environ 2 000 par mois. Ressources internes ML : aucune. Délai pour un premier résultat : 8 semaines.

On a déployé un RAG connecté à leur PIM et à leur ERP. L'agent répond avec les données à jour, cite la fiche produit source, et se met à jour automatiquement à chaque synchro catalogue. Le DSI ne parle plus de fine-tuning.

Pour voir comment ce type d'agent se comporte sur des cas de relance commerciale, lisez notre article sur les agents IA de relance devis.

FAQ

Peut-on combiner RAG et fine-tuning ?

Oui, et c'est parfois la meilleure approche. On fine-tune le modèle sur le style et le format de sortie attendus, puis on lui donne accès à une base documentaire via RAG pour le contenu. C'est plus complexe à maintenir, mais pertinent pour des cas d'usage très exigeants sur les deux dimensions.

Le RAG est-il moins précis que le fine-tuning ?

Pas nécessairement. La précision dépend surtout de la qualité du retrieval : comment les documents sont découpés, indexés, et sélectionnés. Un RAG bien conçu sur des données propres surpasse souvent un fine-tuning sur des données médiocres. La qualité des inputs prime sur le choix de l'architecture.

Combien coûte un fine-tuning par rapport à un RAG ?

Un fine-tuning sérieux (préparation des données, entraînement, évaluation, déploiement) démarre rarement en dessous de 15 000 à 30 000 euros pour un modèle personnalisé. Un RAG bien conçu peut être opérationnel entre 5 000 et 15 000 euros selon la complexité. On détaille les coûts réels d'un agent IA sur mesure dans cet article.

Mon agent peut-il évoluer sans tout reconstruire ?

Avec le RAG, oui. Vous mettez à jour votre base documentaire, l'agent s'adapte. Avec le fine-tuning, chaque mise à jour significative des données nécessite un nouveau cycle d'entraînement. C'est l'argument le plus décisif pour les PME dont les données évoluent régulièrement.

Par où commencer si on ne sait pas encore ce qu'on veut ?

Commencez par définir votre cas d'usage précis, pas par choisir une technologie. Notre guide pour démarrer l'IA en PME donne un point de départ structuré. Et si vous voulez qu'on regarde votre situation avec vous, notre équipe chez Annei peut faire un diagnostic en 45 minutes.