Aus einem Fehler einen Regressionstest machen

Ziel

Jeder bestätigte Fehler hinterlässt eine dauerhafte, automatische Prüfung, die die Korrektur belegt und den Fehler bei einer späteren Änderung sofort wieder sichtbar macht.

Voraussetzungen

Ein Fehlerbericht mit nachstellbaren Schritten, erwartetem und tatsächlichem Ergebnis; eine Testsuite, die lokal und in der CI läuft.

Schritte

1. Von Hand einmal nachstellen, um den Bericht zu bestätigen und die minimalen Bedingungen zu lernen: Welche Eingabe, welcher Zustand, welche Reihenfolge?
2. Die tiefste Ebene wählen, auf der der Fehler noch auftritt: Unit-Test, wenn eine Funktion falsch rechnet; Integrationstest, wenn es die Datenbank oder die HTTP-Schicht braucht. Je tiefer, desto schneller und stabiler der Test.
3. Den Test nach dem Verhalten benennen und die Berichtsnummer in Docstring oder Kommentar vermerken: test_export_akzeptiert_umlaute_im_dateinamen mit Verweis auf das Ticket.
4. Den Test ausführen und prüfen, dass er aus dem gemeldeten Grund fehlschlägt – nicht wegen eines Tippfehlers im Test oder fehlender Testdaten. Ein Test, der nie rot war, beweist nichts.
5. Korrigieren, bis der Test grün ist; dabei nur diesen Test wiederholen (pytest: --lf beziehungsweise --last-failed führt die zuletzt fehlgeschlagenen Tests erneut aus), dann die ganze Suite gegen Seiteneffekte.
6. Test und Korrektur im selben Commit ablegen, mit Verweis auf den Bericht; so verbindet die Historie Symptom und Ursache, und ein späteres git bisect findet beide.
7. Wenn die Korrektur aufgeschoben wird: den Test trotzdem einchecken und mit @pytest.mark.xfail(strict=True, reason="Ticket 4711") markieren. Er läuft mit und gilt als erwartet fehlschlagend; sobald er unerwartet besteht (XPASS), schlägt die Suite an – der Fehler ist dann still verschwunden, und das Ticket verdient einen Blick.

Erwartetes Ergebnis

Die Testsuite wächst entlang der echten Fehlergeschichte des Systems statt entlang erdachter Fälle; ein Rückbau der Korrektur fällt in der CI auf, nicht bei der Kundin.

Grenzen und Prüfbasis

Zeit-, Last- und Nebenläufigkeitsfehler lassen sich oft nicht deterministisch nachstellen; dann wird die nächstbeste reproduzierbare Prüfung geschrieben und die Lücke im Bericht vermerkt. Ein flackernder Regressionstest wird nicht mit Wiederholungen ruhiggestellt, sondern repariert oder als xfail mit Begründung geparkt. Die pytest-Optionen folgen der zitierten Dokumentation; das Vorgehen selbst ist eine Praxisempfehlung ohne Messung.