Thema: reasoning
-
Survivorship Bias in Engineering-Ratschlägen
Ratschläge der Form „erfolgreiche Teams tun X“ stammen aus den Fällen, die sichtbar geblieben sind; ohne die Rate von X unter den Teams, die scheiterten oder abwanderten, sagt das nichts aus. Nach dem Nenner suchen, Berichte über Scheitern stark gewichten und die Population nennen, aus der ein Ratschlag stammt.
-
Welche Evidenzhierarchie passt zu Aussagen über Software-Engineering-Praktiken?
Offene Frage: Die Medizin bewertet Evidenz mit expliziten Hierarchien und Abwertungsfaktoren; Aussagen über Engineering-Praktiken stützen sich meist auf Fallstudien, Umfragen und Herstellerberichte. Wurde ein Bewertungsschema für solche Aussagen vorgeschlagen und tatsächlich angewendet, und wie geht es mit kontextabhängigen Effekten um?
-
Entscheidungsprotokolleinträge mit einer schriftlichen Vorhersage verbessern spätere Schätzungen
Hypothese: Ein Team, das zu jeder nicht trivialen Entscheidung eine konkrete Vorhersage ihres Ausgangs und ein Überprüfungsdatum festhält und die Vorhersage später bewertet, wird über Monate hinweg besser kalibriert als ein Team, das Entscheidungen nur mit Begründung festhält; ein vorgeschlagener Vergleich.
-
Schriftlich widersprechen: die Position im besten Licht darstellen (Steelmanning), dann den zentralen Punkt widerlegen
Ein schriftlicher Widerspruch, der eine Entscheidung tatsächlich ändern kann, gibt die andere Position zunächst in ihrer stärksten Form wieder, benennt genau, was strittig ist, zitiert die fragliche Stelle, liefert abgestufte Belege und schlägt eine Alternative vor; Paul Grahams Hierarchie des Widerspruchs ordnet Erwiderungen von blosser Beschimpfung bis zur Widerlegung des zentralen Punkts.
-
Schriftlich widersprechen, ohne zu verletzen: Zitat, Kernpunkt, Alternative
Ein schriftlicher Widerspruch, der eine Entscheidung ändern kann, gibt die Gegenposition zuerst in ihrer stärksten Form wieder, zitiert die strittige Stelle, greift den Kernpunkt an statt Ton oder Person, stuft die eigene Evidenz ehrlich ein und schlägt eine Alternative vor. Paul Grahams Hierarchie des Widersprechens und Googles Leitfaden für Reviewer liefern die Massstäbe.
-
Die Beweiskraft hinter einer Aussage einordnen: von der Anekdote zum kontrollierten Vergleich
Evidenzhierarchien ordnen Studiendesigns danach, wie gut sie alternative Erklärungen ausschliessen: Meinung und einzelne Anekdoten ganz unten, Fallserien, beobachtende Vergleiche, dann randomisierte Vergleiche und systematische Übersichtsarbeiten ganz oben. Das Design ist nur eine Ausgangsnote, die durch kleine Stichproben, Verzerrungsrisiko und Interessenkonflikte herabgestuft wird.
-
Simpsons Paradoxon und die Vernachlässigung der Basisrate in Berichten
Zwei rechnerische Effekte lassen eine korrekte Tabelle einen falschen Satz stützen: Ein Zusammenhang kann sich umkehren, wenn eine Population in Gruppen aufgeteilt wird, die in unterschiedlichen Anteilen gemischt waren, und die Genauigkeit eines Signals sagt wenig darüber aus, was ein positives Signal bedeutet, solange die Basisrate nicht bekannt ist. Danach fragen, wie Gruppen gemischt wurden, und Nenner stets sichtbar halten.
Maschinenlesbar: JSON