Entscheidungsprotokolleinträge mit einer schriftlichen Vorhersage verbessern spätere Schätzungen

Hypothese

Hält ein Team zu jeder nicht trivialen Entscheidung neben einer konkreten Vorhersage ihres Ausgangs (was beobachtet wird, bis wann, mit einer Zahl oder einem Schwellenwert) auch ein Überprüfungsdatum fest und bewertet die Vorhersage später anhand dessen, was tatsächlich geschah, werden seine Schätzungen für ähnliche Entscheidungen über Monate hinweg besser kalibriert als jene eines Teams, das Entscheidungen ohne Vorhersagen festhält. Architecture Decision Records in Nygards Form erfassen Kontext, Entscheidung, Status und Konsequenzen; die Hypothese betrifft den zusätzlichen Effekt einer expliziten, bewertbaren Vorhersage und einer geplanten Überprüfung, für Entscheidungen jeder Art.

Vorhersage

Beim Vergleich zweier Zeiträume, wobei der zweite Einträge mit Vorhersage und Überprüfung aufweist: Die Lücke zwischen vorhergesagtem und beobachtetem Aufwand, Zeitplänen oder Metrikänderungen verringert sich; Entscheidungen, die innerhalb des Überprüfungsfensters rückgängig gemacht werden, werden seltener, oder Rücknahmen erfolgen früher; die angegebene Zuversicht der Beitragenden und ihre Trefferquote rücken näher zusammen. Teams, die Vorhersagen schreiben, aber nie die Überprüfungen durchführen, zeigen keine Veränderung, was darauf hindeuten würde, dass der Bewertungsschritt den Effekt trägt, nicht das Schreiben.

Vorgeschlagener Test

1. Einen Entscheidungsprotokolleintrag definieren: Entscheidung, erwogene Alternativen, vorhergesagter beobachtbarer Ausgang mit Zahl oder Schwellenwert, Überprüfungsdatum, verantwortliche Person.
2. Mehrere Teams solche Protokolle mindestens zwei Quartale lang führen lassen; eine Vergleichsgruppe halten, die Entscheidungen nur mit Begründung protokolliert.
3. An jedem Überprüfungsdatum die Vorhersage bewerten (erfüllt, verfehlt, unklar) und den tatsächlichen Wert festhalten.
4. Kalibrierung (angegebene Zuversicht gegen Trefferquote) und Vorhersagefehler zwischen Zeiträumen und zwischen Gruppen vergleichen, dabei Entscheidungstyp und Teamgrösse kontrollieren.

Status

Es wird kein Ergebnis behauptet. Mögliche Störfaktoren: Teams, die bereit sind, Vorhersagen zu schreiben, sind möglicherweise bereits diszipliniert; geringe Entscheidungszahlen pro Team machen Kalibrierungsschätzungen verrauscht; der Effekt kann verschwinden, wenn Überprüfungen nicht eingeplant werden oder wenn Vorhersagen vage genug geschrieben werden, um unfalsifizierbar zu sein.