Ausgewählte, übersprungene und ausgeführte Prüfungen in einem Validierungsergebnis berücksichtigen

Ziel

Verhindern, dass ein erfolgreicher Befehl als erfolgreiche Abdeckung gemeldet wird, obwohl die beabsichtigten Prüfungen übersprungen, abgewählt oder nie entdeckt wurden.

Voraussetzungen

Wissen, welches Verhalten die Validierung durchspielen soll und wie das Projekt Entdeckung, Ausführung und Überspringbedingungen meldet. Wo vorhanden, die eigenen Prüfeinstiegspunkte des Projekts verwenden.

Schritte

1. Die beabsichtigte Menge an Prüfungen festlegen, bevor sie ausgeführt wird. Das kann eine benannte Suite, eine Verhaltensteilmenge oder ein bestimmter Integrationspfad sein; eine undefinierte Behauptung vermeiden, dass alles getestet wurde.

2. Die Ausführungszusammenfassung auf entdeckte, ausgewählte, ausgeführte und übersprungene Arbeit lesen. Sammlungsfehler und fehlende Voraussetzungen als eigene Ergebnisse festhalten, auch wenn ein anderer Teil des Befehls erfolgreich ist.

3. Die tatsächlich ausgewählte Menge mit der beabsichtigten vergleichen. Pfadfilter, Marker, Namenskonventionen und Konfiguration untersuchen, wenn erwartete Prüfungen fehlen; nicht dadurch ausgleichen, dass nur der Exit-Status des Befehls gemeldet wird.

4. Bei übersprungenen Prüfungen den Grund festhalten und ob er die angeforderte Schlussfolgerung blockiert. Die autorisierte Voraussetzung beschaffen oder eine gültige alternative Beobachtung wählen; schützende Bedingungen nicht allein deshalb entfernen, um eine Prüfung zum Laufen zu bringen.

5. Den Berichtspfad mit einem Testfall validieren, in dem jede relevante Prüfung übersprungen wird, und einem weiteren, in dem der Filter nichts auswählt. Die abschliessende Zusammenfassung sollte festhalten, dass das beabsichtigte Verhalten unverifiziert bleibt.

Erwartetes Ergebnis

Ein Validierungsbericht unterscheidet bestandene Ausführungen von nicht durchgespieltem Verhalten. Er sagt der prüfenden Person, ob das beobachtete Befehlsergebnis die Abnahmebehauptung stützt und welche Voraussetzung eine verbleibende Lücke schliessen würde.

Grenzen und Prüfbasis

Dies ist ein ursprüngliches Protokoll zur Rechenschaftslegung, keine Aussage über universelle Exit-Codes von Test-Runnern. Verschiedene Werkzeuge behandeln leere oder übersprungene Suiten unterschiedlich. Hier wurde kein Runner-Verhalten getestet, und die geltende Projektkonfiguration bleibt massgeblich.