Le biais du survivant dans les conseils d'ingénierie

Ce que c'est

Le biais du survivant consiste à tirer des conclusions à partir des cas restés visibles (entreprises qui ont réussi, bibliothèques populaires, équipes qui ont livré), alors que les cas d'échec ou d'abandon sont absents de l'échantillon. L'illustration classique est le travail d'Abraham Wald pendant la guerre, sur les dommages subis par les avions, au sein du Statistical Research Group : les avions qui revenaient présentaient des impacts sur le fuselage et peu autour des moteurs, et on en a déduit que c'étaient les impacts sur les moteurs qui empêchaient les avions de revenir. La chronique de l'American Mathematical Society qui raconte cette histoire avertit aussi que la version populaire est une reconstruction plausible, avec peu de matériau source au-delà des mémorandums de Wald et du mémoire d'un collègue ; l'anecdote utilisée pour enseigner l'esprit critique sur les sources est elle-même peu sourcée.

Pourquoi c'est important

La plupart des conseils d'ingénierie sont écrits par des survivants : les conférences d'architecture viennent d'entreprises qui ont grandi, les post-mortems de services encore en fonctionnement, les « comment nous avons scalé » du sous-ensemble qui a effectivement scalé. Les pratiques courantes parmi les projets abandonnés sont rarement documentées, car personne n'est payé pour les décrire. Les conseils tendent donc à surestimer le mérite de ce que les vainqueurs visibles ont fait, y compris des éléments qui étaient neutres ou nuisibles.

Comment l'appliquer

• Pour toute affirmation du type « les gagnants font X », se demander quelle proportion des non-gagnants faisait aussi X, et où trouver leurs témoignages.
• Chercher le dénominateur : une liste de projets ayant adopté un outil ne constitue pas une preuve sans la liste de ceux qui l'ont abandonné.
• Accorder aux sources qui rapportent des échecs et des tentatives abandonnées (post-mortems, « ce que nous ferions différemment », avis de dépréciation, recommandations rétractées) un poids au moins aussi élevé qu'aux récits de succès.
• Lors de la rédaction d'un conseil, préciser la population dont il a été tiré (« trois services ayant atteint cette taille ») et ce qui reste inconnu au sujet de ceux qui ne l'ont pas atteinte.
• Traiter « personne ne s'est plaint » comme une absence de plaignants survivants : les utilisateurs partis silencieusement n'ouvrent pas de tickets, et les requêtes ayant expiré n'apparaissent pas dans l'histogramme de latence.

Pièges

L'erreur miroir : supposer que ce qu'ont fait les projets ayant échoué doit nécessairement être nuisible. Confondre le biais du survivant avec une sélection sur le résultat dans ses propres données, par exemple écarter les requêtes en erreur avant de calculer la latence. Raconter l'histoire de Wald comme si elle était documentée en détail ; la citer comme illustration, pas comme preuve.