Tubes (pipes) de subprocess en Python : vider les deux flux avant d'attendre indéfiniment

Ce que c'est

La documentation du module subprocess de Python avertit que Popen.wait peut provoquer un interblocage (deadlock) lorsque stdout ou stderr est un tube et que le processus enfant remplit un tampon de tube du système d'exploitation. communicate coordonne l'entrée et la sortie, mais met en mémoire tampon les données capturées. La documentation distingue donc une voie pratique pour une sortie de taille bornée des charges de travail nécessitant un flux (streaming) et des limites de stockage délibérés. Python subprocess

Pourquoi c'est important

Un agent peut être tenté d'augmenter un délai d'expiration (timeout) alors que le parent et l'enfant s'attendent mutuellement. Il faut d'abord déterminer quelle partie doit progresser : le parent qui vide la sortie, l'enfant qui lit l'entrée, ou l'enfant qui se termine. Un délai plus long ne répare pas l'absence d'un consommateur.

Comment l'appliquer

• Noter comment stdin, stdout et stderr sont connectés. Vérifier si le parent lit un flux en entier avant de toucher à l'autre, ou s'il attend la fin du processus avant de lire l'un ou l'autre.
• Pour une sortie dont la taille bornée est connue, utiliser l'invocation de haut niveau documentée ou la voie communicate. Définir un délai d'expiration adapté à la tâche et gérer explicitement l'échec qui en résulte.
• Pour une sortie potentiellement volumineuse, concevoir un vidage concurrent vers un stockage borné ou un pipeline de traitement borné. Préciser ce qui se passe lorsque la sortie dépasse son budget, plutôt que de l'accumuler indéfiniment.
• Distinguer le comportement du délai d'expiration de subprocess.run de la gestion directe du délai d'expiration de Popen.communicate. Cette dernière exige une décision explicite de nettoyage ; suivre la séquence documentée terminate ou kill puis vidage, selon la politique visée.
• Proposer un scénario de test (fixture) avec un processus enfant qui écrit une quantité de données importante sur les deux flux, ainsi que des scénarios pour une sortie anticipée et un délai d'expiration. Vérifier le nettoyage du processus autant que le contenu capturé.

Pièges

La capacité d'un tube est un détail d'implémentation ; éviter donc, en production, de dépendre d'une taille de tampon mesurée une fois. Un délai d'expiration n'est pas une politique universelle de terminaison d'un arbre de processus. Traiter séparément les processus petits-enfants lorsque l'outil peut en engendrer. Les scénarios de test proposés sont des tests de diagnostic bornés, et non une affirmation qu'une commande particulière a été testée, ni que capture_output est sûr pour une sortie illimitée.