Tests logiciels assistés par IA

• Assistance à l’analyse des exigences, à la conception des tests et à leur automatisation.
• Limites des suggestions : exigences inventées, bibliothèques inexistantes et comportements mal interprétés.
• Contexte utile à transmettre : règles métier, architecture, exemples et conventions de test.
• Confidentialité du code et des données transmis à l’assistant.

Comparaison guidée : Examiner deux propositions de tests produites avec des contextes différents et identifier les informations manquantes.

• Traçabilité entre exigences, risques et cas de test.
• Classes d’équivalence, valeurs limites et scénarios d’erreur.
• Utilisation de l’IA pour proposer des variantes et repérer des situations oubliées.
• Résultats attendus définis à partir des règles métier, indépendamment du comportement actuel du code.

Atelier : Construire et relire une sélection de cas de test à partir d’une spécification présentant des ambiguïtés et des cas limites.

• Jeux de données correspondant aux cas nominaux, aux limites et aux entrées invalides.
• Cohérence entre champs, contraintes métier et relations entre données.
• Données fictives et risques de divulgation liés aux exemples transmis à l’assistant.
• Reproductibilité des jeux produits et vérification de leur couverture.

• Structure des tests, préparation des données et assertions explicites.
• Tests des erreurs, des exceptions et des effets de bord.
• Doubles de test : stubs, mocks et limites d’un remplacement excessif des dépendances.
• Relecture du code généré : API utilisées, stabilité, lisibilité et conformité aux conventions du projet.

Travaux pratiques : Générer puis corriger des tests unitaires sur une fonctionnalité du cas fil rouge, en vérifiant les résultats attendus et les dépendances simulées.

• Exploitation d’une documentation d’API et d’un contrat OpenAPI.
• Vérification des statuts, des schémas, des champs obligatoires et des règles métier.
• Cas d’erreur : entrées invalides, ressources absentes et accès non autorisés.
• Cohérence entre contrat documenté, comportement observé et assertions générées.

Travaux pratiques : Produire une sélection de tests d’API et détecter un écart entre la documentation et l’implémentation.

• Tests qui passent sans vérifier le comportement attendu.
• Assertions insuffisantes, duplication de la logique du code et résultats attendus calculés par le système testé.
• Couverture du code, couverture des exigences et capacité de détection des défauts.
• Introduction de défauts contrôlés et découverte du principe des tests de mutation.

Expérimentation : Introduire plusieurs défauts dans l’application et identifier les tests qui les détectent réellement, puis renforcer les tests insuffisants.

• Revue des tests assistés par IA et critères d’acceptation dans le dépôt de code.
• Exécution dans la chaîne d’intégration continue et exploitation des rapports.
• Gestion des tests instables, des dépendances et de la maintenance.
• Répartition entre génération automatisée, vérifications techniques et validation humaine.

• Priorisation des zones encore peu testées selon leur criticité.
• Ajustement des scénarios et suppression des tests redondants ou sans valeur.
• Analyse des défauts détectés et des risques restant à couvrir.
• Synthèse des gains, des limites et des règles d’utilisation de l’assistant.

Revue croisée : Faire relire la suite de tests par un autre participant, démontrer la détection d’un défaut et présenter les améliorations retenues.