Concevoir et déployer des agents IA

• Différences entre appel simple à un modèle, recherche documentaire augmentée, workflow prédéfini et agent.
• Processus concernés, utilisateurs, données disponibles et actions attendues.
• Situations nécessitant une adaptation dynamique et situations relevant d’une automatisation classique.
• Arbitrages entre autonomie, fiabilité, coût et temps de réponse.
• Critères de réussite, limites du périmètre et situations nécessitant une intervention humaine.

Étude de cas : Comparer plusieurs besoins métier et justifier le choix d’un agent, d’un workflow ou d’une solution plus simple.

• Composants : modèle, instructions, outils, contexte et état d’exécution.
• Boucle d’exécution : sélection d’une action, appel d’un outil, traitement du résultat et poursuite de la tâche.
• Sorties structurées, validation des réponses et conditions d’arrêt.
• Gestion des erreurs, délais d’attente et limites du nombre d’actions.
• Critères de choix d’un SDK ou d’un framework : intégration, contrôle de l’exécution, testabilité et maintenance.

• Définition des outils : fonction, description, paramètres, résultats et erreurs.
• Connexion à des API métier et distinction entre opérations de lecture et de modification.
• Validation des paramètres et contrôle des règles métier dans le code.
• Authentification, droits d’accès et gestion des secrets.
• Rôle du Model Context Protocol (MCP) dans l’exposition des outils et des ressources.
• Prévention des actions en double lors des tentatives de reprise.

Atelier de développement : Connecter l’agent du cas fil rouge à une API de test, puis vérifier son comportement face à des paramètres invalides, un refus d’accès et une indisponibilité du service.

• Distinction entre historique de conversation, état de la tâche et mémoire persistante.
• Sélection des informations utiles et gestion de la taille du contexte.
• Recherche documentaire augmentée et conservation des références utilisées.
• Actualisation des connaissances et traitement des informations contradictoires.
• Isolation des données entre utilisateurs, droits d’accès et durée de conservation.
• Sauvegarde de l’état et reprise d’une tâche interrompue.

• Chaînage d’étapes, routage, parallélisation et coordination par un orchestrateur.
• Répartition des responsabilités et définition des informations échangées.
• Passage de relais, validation des résultats intermédiaires et traitement des désaccords.
• Coûts supplémentaires, latence et propagation des erreurs.
• Critères de comparaison entre un agent unique et une architecture multi-agent.

Analyse comparative : Examiner deux implémentations d’un même processus, identifier les défaillances de coordination et argumenter l’architecture à retenir.

• Périmètre d’action de l’agent et principe du moindre privilège.
• Séparation entre contenus consultés, instructions de confiance et décisions d’autorisation.
• Injections de prompt dans les documents et les réponses des outils.
• Validation humaine des opérations sensibles et traitement des refus.
• Limites d’exécution : budget, durée, volume d’actions et accès aux ressources.
• Protection des données dans les échanges et les journaux d’exécution.

Mise à l’épreuve : Soumettre l’agent à un document contenant une instruction malveillante et à une demande dépassant ses droits, puis vérifier les contrôles et le recours à la validation humaine.

• Jeux de test issus de situations métier : cas nominaux, cas limites et scénarios d’échec.
• Vérification du résultat obtenu dans l’application, au-delà du message final de l’agent.
• Analyse des appels d’outils, des erreurs et des traces d’exécution.
• Répétition des essais pour apprécier la variabilité des résultats.
• Indicateurs de réussite, coût par tâche, temps de réponse et fréquence des interventions humaines.
• Tests de régression après modification du modèle, des instructions ou des outils.

Atelier d’évaluation : Construire une grille de tests pour le cas fil rouge, exécuter plusieurs essais et identifier les corrections prioritaires à partir des résultats et des traces.

• Configuration des environnements de développement, de test et d’exploitation.
• Versionnement du code, des instructions, des outils et des paramètres.
• Gestion des dépendances, des accès et de la configuration.
• Déploiement progressif, surveillance et alertes.
• Reprise après incident, retour à une version précédente et fonctionnement de secours.
• Documentation, responsabilités d’exploitation et critères de mise en service.

Revue de déploiement : Présenter l’agent réalisé, les résultats des tests et les risques résiduels, puis déterminer les conditions nécessaires à sa mise en service.