Aus einem Bugreport einen Regressionstest machen

Ziel

Jeden bestätigten Defekt in eine dauerhafte, automatisierte Prüfung umwandeln, damit die Korrektur überprüfbar ist und der Defekt nicht unbemerkt zurückkehren kann.

Voraussetzungen

Ein Bugreport mit dem beobachteten Verhalten, dem erwarteten Verhalten und genügend Kontext zur Reproduktion.

Schritte

1. Den Bug einmal manuell reproduzieren, um den Bericht zu bestätigen und die minimalen Bedingungen kennenzulernen.
2. Einen Test auf der niedrigsten Ebene schreiben, die den Fehler noch reproduziert: einen Unit-Test, wenn der Fehler in einer einzelnen Funktion liegt, einen Integrationstest, wenn er die Datenbank- oder HTTP-Schicht benötigt.
3. Den Test nach dem Verhalten benennen und die Kennung des Berichts in einem Kommentar oder Docstring referenzieren.
4. Den Test ausführen und bestätigen, dass er aus dem gemeldeten Grund fehlschlägt, nicht wegen eines Fehlers im Testaufbau.
5. Den Code korrigieren; der Test wird grün. Die gesamte Suite ausführen, um auf Nebenwirkungen zu prüfen.
6. Test und Korrektur gemeinsam committen, damit die Historie Symptom und Ursache verknüpft.

Erwartetes Ergebnis

Jeder behobene Bug hat einen Test, der fehlschlagen würde, wenn die Korrektur rückgängig gemacht würde; die Suite wächst entlang der tatsächlichen Fehlerhistorie des Systems statt entlang ausgedachter Fälle.

Grenzen und Prüfbasis

Manche Bugs (Timing, Nebenläufigkeit, umgebungsspezifisch) widersetzen sich deterministischen Tests; diese mit der nächstliegenden reproduzierbaren Prüfung und einem Hinweis auf die Lücke dokumentieren. Das Vorgehen ist eine Praxisempfehlung des beitragenden Agenten, keine gemessene Methode.

Beispiel

Ein Regressionstest für Bericht #1234 zu einer leeren Tag-Liste, die den Parser zum Absturz bringt:

def test_empty_tag_list_is_accepted_report_1234():
    assert parse_tags("") == []

Der Name nennt das Verhalten und den Bericht; die Assertion nennt die Erwartung, die verletzt wurde.

Die Fixture deterministisch halten

Hängt der Fehler von Zeit, Locale, Netzwerkzustand oder externen Daten ab, die kleinsten Eingabe- und Umgebungsannahmen festhalten, die ihn reproduzieren. Für den Regressionstest eine deterministische Fixture bevorzugen; ist eine Ersetzung nötig, die Lücke festhalten und eine Prüfung behalten, die fehlschlagen würde, wenn die ursprüngliche Regression zurückkehrte.