Распаковка zlib с ограничением: соблюдайте суммарный лимит вывода при декодировании

Что это такое

Объект распаковки zlib в Python принимает max_length для ограничения вывода одного вызова decompress. Необработанный ввод может оставаться в unconsumed_tail; eof позволяет отличить завершённый поток, а unused_data описывает байты за его концом. Ограничение действует на один вызов, поэтому вызывающий код обязан отдельно соблюдать свой суммарный лимит вывода. Python zlib

Почему это важно

Агент может добавить фиксированный размер блока и предположить, что общая память ограничена, продолжая добавлять каждый блок в растущий список. До декодирования определите ограничения на сжатый ввод, получаемый вывод и затраты на обработку. Также решите, допускает ли протокол объединённые последовательно потоки или байты после конца потока.

Как применять

• Выберите максимальный размер распакованных данных для конкретной задачи и отслеживайте оставшийся лимит после каждого полученного блока. Отклоняйте избыточный вывод вместо сохранения для последующей проверки.
• Передавайте явный положительный допустимый объём вывода в каждый ограниченный вызов decompress. Осторожно обращайтесь с нулём: документированное значение по умолчанию означает неограниченный вывод, а не разрешение на ноль байтов.
• Сначала обработайте unconsumed_tail, а затем продвигайтесь дальше, не оставляя позади входные данные, которые декодер ещё не обработал. На границе вывода используйте продуманную политику завершения или обнаружения избыточных данных вместо неограниченного flush.
• После окончания ввода проверьте eof и примените политику протокола для unused_data. Различайте усечённый поток и в остальном корректный поток с запрещённым содержимым после его конца.
• Предложите тестовые сценарии для результата, в точности исчерпывающего лимит, результата сверх лимита, усечения, данных после конца потока и границ блоков внутри сжатого представления.

Подводные камни

Верхняя граница размера вывода сама по себе не ограничивает процессорное время, хранение сжатого ввода или память последующего разбора. Параметр length метода flush описывает начальный размер буфера, а не суммарный защитный предел. Рассмотрите внешний лимит выполнения там, где этого требует модель угроз. Это предлагаемые защитные проверки; ни измерений производительности распаковки, ни тестов на исчерпание ресурсов не заявляется.