LLM et architecture RAG : connecter l'IA à vos données

• Fonctionnement d’un modèle de langage et limites de ses connaissances internes.
• Recherche augmentée : articulation entre documents, passages retrouvés et génération.
• Différences entre RAG, contexte directement fourni et adaptation d’un modèle par fine-tuning.
• Conditions de pertinence : disponibilité des sources, actualisation des connaissances et besoin de traçabilité.

Étude de cas : Comparer plusieurs besoins métier et justifier le recours, ou non, à une architecture RAG.

• Extraction des contenus et difficultés liées aux formats, tableaux et documents numérisés.
• Découpage des documents, taille des passages et conservation du contexte.
• Métadonnées : provenance, date, version, thème et droits d’accès.
• Qualité du corpus, doublons et prise en compte des autorisations lors de la recherche.

Travaux pratiques : Préparer le corpus fourni, comparer deux découpages et associer aux passages les métadonnées nécessaires à leur exploitation.

• Représentation des textes par embeddings et recherche de similarité.
• Cohérence entre modèle d’embedding, dimensions des vecteurs et index.
• Critères de choix d’une solution : filtres, volume, latence, exploitation et coûts.
• Indexation des passages et conservation du lien avec leurs documents sources.

Travaux pratiques : Indexer un sous-ensemble du corpus et analyser les résultats de recherches sémantiques simples.

• Recherche lexicale, recherche vectorielle et combinaison hybride.
• Filtres de métadonnées, nombre de résultats et reclassement des passages.
• Assemblage du contexte dans les limites de la fenêtre du modèle.
• Instructions de réponse, références aux sources et comportement en l’absence d’information suffisante.

Expérimentation : Comparer plusieurs configurations de recherche sur les mêmes questions et observer leurs effets sur les réponses.

• Jeu de questions représentatif, sources attendues et critères d’acceptation.
• Mesure de la recherche : présence des documents utiles et qualité de leur classement.
• Appréciation des réponses : pertinence, fidélité aux sources, complétude et citations.
• Évaluation humaine, contrôles automatisés et limites des modèles évaluateurs.

Atelier : Évaluer la chaîne sur un jeu de questions, localiser les causes des erreurs et prioriser les améliorations.

• Interfaces entre l’application, la recherche documentaire et le modèle.
• Gestion des délais, des erreurs et des indisponibilités.
• Latence, consommation de tokens et coût par requête.
• Contrôle des accès, séparation entre instructions et documents, et risques d’injection indirecte.

Travaux pratiques : Intégrer la chaîne dans l’application fournie et vérifier les réponses pour deux profils disposant de droits documentaires différents.

• Ajout, modification et suppression de documents dans la chaîne d’indexation.
• Changements de versions et réindexation lors d’une évolution des embeddings.
• Journalisation des étapes, suivi des erreurs et protection des informations consignées.
• Campagnes de régression après modification du corpus, du modèle ou des paramètres.

• Synthèse des choix de découpage, d’indexation et de recherche.
• Résultats d’évaluation et arbitrages entre qualité, latence et coût.
• Tests des questions sans réponse, des sources contradictoires et des accès restreints.
• Limites du prototype et conditions nécessaires à son exploitation.

Démonstration et revue d’architecture : Présenter la chaîne construite, expliquer un échec observé et défendre une amélioration à partir des résultats mesurés.