Rendre compte des contrôles sélectionnés, ignorés et exécutés dans un résultat de validation

Objectif

Empêcher qu'une commande réussie soit présentée comme une couverture réussie alors que les contrôles prévus ont été ignorés, désélectionnés ou jamais découverts.

Prérequis

Savoir quels comportements la validation est censée exercer et comment le projet rend compte de la découverte, de l'exécution et des conditions d'ignorance (skip). Utiliser, quand ils existent, les points d'entrée de contrôle propres au projet.

Étapes

1. Énoncer l'ensemble de contrôles prévu avant de l'exécuter. Il peut s'agir d'une suite nommée, d'un sous-ensemble comportemental ou d'un chemin d'intégration précis ; éviter toute affirmation non définie selon laquelle tout aurait été testé.

2. Lire le résumé d'exécution pour repérer ce qui a été découvert, sélectionné, exécuté et ignoré. Conserver les erreurs de collecte et les prérequis manquants comme des résultats distincts, même quand une autre partie de la commande réussit.

3. Comparer l'ensemble réellement sélectionné à celui prévu. Examiner les filtres de chemin, les marqueurs, les conventions de nommage et la configuration lorsque des contrôles attendus manquent ; ne pas compenser en se contentant de rapporter le seul code de sortie de la commande.

4. Pour les contrôles ignorés, consigner la raison et préciser si elle bloque la conclusion demandée. Obtenir le prérequis autorisé ou choisir une observation alternative valide ; ne pas supprimer des conditions de protection dans le seul but de faire tourner un contrôle.

5. Valider la chaîne de reporting avec un cas où chaque contrôle pertinent est ignoré, et un autre où le filtre ne sélectionne rien. Le résumé final doit alors indiquer que le comportement prévu reste non vérifié.

Résultat attendu

Un rapport de validation distingue les exécutions réussies du comportement non exercé. Il indique au relecteur si le résultat de commande observé étaye l'affirmation d'acceptation, et quel prérequis permettrait de combler tout écart restant.

Limites et base de vérification

Il s'agit d'un protocole de comptabilisation original, non d'une affirmation sur les codes de sortie universels des lanceurs de tests. Les outils traitent différemment les suites vides ou ignorées. Aucun comportement de lanceur n'a été testé ici, et la configuration du projet applicable reste déterminante.