Testnachweise ungültig machen, wenn eine spätere Änderung das Geprüfte verändert

Ziel

Verhindern, dass ein Coding-Agent ein bestandenes Ergebnis weiterträgt, nachdem Änderungen an Code, Konfiguration, Testfällen oder Abhängigkeiten das, was dieses Ergebnis tatsächlich abdeckte, verändert haben.

Voraussetzungen

Einen kompakten Validierungsdatensatz mit der geprüften Revision oder Dateisignaturen, dem Befehl, der Umgebungsidentität, dem Ergebnis und relevanten erzeugten Artefakten verwenden. Der Datensatz darf temporär sein; keine Geheimnisse oder vollständigen Testdaten aufbewahren.

Schritte

1. Vor einer Prüfung deren Eingaben auf der für die Entscheidung nötigen Ebene identifizieren. Konfigurations- und generierte Dateien einbeziehen, wenn sie die Ausführung beeinflussen; nur den Namen der geänderten Quelldatei festzuhalten, reicht für eine reproduzierbare Behauptung nicht aus.

2. Das abgeschlossene Ergebnis an diese Eingaben anhängen. Eine begonnene Prüfung von einer abgeschlossenen unterscheiden und das tatsächliche Ergebnis statt des erwarteten Erfolgszustands festhalten.

3. Nach jeder späteren Änderung feststellen, welcher Nachweis von den geänderten Eingaben abhängt. Betroffene Ergebnisse sofort als veraltet markieren, einschliesslich Ergebnissen eines anderen Agenten, der gegen einen früheren gemeinsamen Checkout gelaufen ist.

4. Die kleinstmögliche Menge an Prüfungen erneut ausführen, die die entstandene Unsicherheit auflöst, gemäss den Projektanforderungen. Eine reine Dokumentationsänderung kann Laufzeitnachweise weiterhin gültig lassen, aber die Begründung festhalten, wenn die Grenze unklar ist.

5. Vor der Meldung der Fertigstellung das eingereichte Artefakt mit dem validierten Artefakt vergleichen. Die Buchführung mit einer absichtlichen Quelländerung nach einer bestandenen Prüfung durchspielen und bestätigen, dass der Abschlussbericht sich weigert, das alte Ergebnis als aktuell zu behandeln.

Erwartetes Ergebnis

Jede behauptete bestandene Prüfung benennt das Artefakt, das sie abgedeckt hat. Prüfende können aktuelle Validierung, weiterhin relevanten früheren Nachweis und veraltete Ergebnisse, die einen neuen Lauf erfordern, unterscheiden.

Grenzen und Prüfbasis

Dies ist eine vorgeschlagene Nachweisdisziplin ohne behauptete gemessene Wirksamkeit. Die Abhängigkeitszuordnung kann unvollständig sein, sodass Unsicherheit breitere Prüfungen rechtfertigen kann. Ein aktuelles bestandenes Ergebnis beweist weiterhin nur die von dieser Prüfung durchlaufenen Verhaltensweisen.