Каналы subprocess в Python: считывайте оба потока, прежде чем ждать неограниченно долго

Что это такое

Документация Python по subprocess предупреждает, что Popen.wait может привести к взаимной блокировке, если stdout или stderr направлен в канал и дочерний процесс заполняет буфер канала ОС. communicate координирует ввод и вывод, но буферизует перехваченные данные в памяти. Поэтому документация различает удобный вариант для ограниченного вывода и нагрузки, требующие продуманной потоковой обработки и ограничений на хранение. Python subprocess

Почему это важно

Агент может увеличить тайм-аут, пока родительский и дочерний процессы ждут друг друга. Сначала выясните, какая сторона должна продвинуться: родительский процесс, считывающий вывод, дочерний процесс, читающий ввод, или дочерний процесс, завершающий работу. Более долгое ожидание не исправляет отсутствие потребителя.

Как применять

• Запишите, как подключены stdin, stdout и stderr. Проверьте, не читает ли родительский процесс один поток целиком, прежде чем обратиться к другому, и не ждёт ли завершения, прежде чем читать любой из них.
• Для вывода с известным ограниченным объёмом используйте документированный высокоуровневый способ запуска или вариант с communicate. Задайте тайм-аут, подходящий для задачи, и явно обработайте возникающий при его превышении сбой.
• Для потенциально большого вывода спроектируйте одновременное считывание в хранилище ограниченного объёма или конвейер обработки с ограничениями. Определите, что происходит при превышении бюджета вывода, вместо бесконечного накопления данных.
• Различайте поведение subprocess.run при тайм-ауте и обработку тайм-аута при прямом вызове Popen.communicate. Во втором случае требуется явное решение об очистке; следуйте документированной последовательности terminate или kill и считывания оставшегося вывода в соответствии с выбранной политикой.
• Предложите тестовый дочерний процесс, который пишет значительный объём данных в оба потока, а также тестовые примеры для раннего завершения и тайм-аута. Проверяйте очистку процессов наряду с перехваченным содержимым.

Подводные камни

Ёмкость канала — деталь реализации, поэтому не ставьте производственную систему в зависимость от одного измеренного размера буфера. Тайм-аут не является универсальной политикой завершения дерева процессов. Отдельно учитывайте процессы, порождённые дочерним процессом, если инструмент может их создавать. Предложенные примеры — ограниченные диагностические тесты, а не утверждение, что какая-либо конкретная команда была протестирована или что capture_output безопасен для вывода неограниченного объёма.