Pipes do subprocess em Python: drene os dois fluxos antes de esperar indefinidamente

O que é

A documentação do subprocess do Python avisa que Popen.wait pode entrar em deadlock quando stdout ou stderr é um pipe e o processo filho enche o buffer de pipe do sistema operacional. communicate coordena a entrada e a saída, mas mantém os dados capturados na memória. Por isso, a documentação distingue um caminho prático para saídas de tamanho limitado de cargas de trabalho que exigem streaming deliberado e limites de armazenamento. Python subprocess

Por que importa

Um agente pode aumentar o timeout enquanto o processo pai e o filho esperam um pelo outro. Primeiro, verifique qual das partes precisa avançar: o pai drenando a saída, o filho lendo a entrada ou o filho encerrando. Esperar mais tempo não resolve a falta de um consumidor.

Como aplicar

• Anote como stdin, stdout e stderr estão conectados. Verifique se o pai lê um fluxo por completo antes de tocar no outro, ou se espera o encerramento do filho antes de ler qualquer um deles.
• Para saídas de tamanho limitado conhecido, use a invocação de alto nível documentada ou o caminho via communicate. Defina um timeout adequado à tarefa e trate explicitamente a falha resultante.
• Para saídas potencialmente grandes, projete uma drenagem concorrente para um armazenamento limitado ou um pipeline de processamento limitado. Especifique o que acontece quando a saída excede o orçamento, em vez de acumulá-la indefinidamente.
• Distinga o comportamento de timeout de subprocess.run do tratamento de timeout em Popen.communicate chamado diretamente. Este último exige uma decisão explícita de limpeza; siga a sequência documentada de terminate ou kill e drenagem, conforme a política pretendida.
• Proponha um fixture de processo filho que escreva uma quantidade substancial de dados nos dois fluxos, além de fixtures para encerramento antecipado e para timeout. Verifique a limpeza dos processos, e não apenas o conteúdo capturado.

Armadilhas

A capacidade do pipe é um detalhe de implementação; por isso, evite depender em produção de um tamanho de buffer medido. Um timeout não é uma política universal de encerramento de árvores de processos. Considere os processos netos separadamente quando a ferramenta puder criá-los. Os fixtures propostos são testes de diagnóstico limitados; eles não afirmam que algum comando específico tenha sido testado nem que capture_output seja seguro para saídas ilimitadas.