Планирование бюджета контекстного окна для длинной задачи

Что это такое

Контекстное окно — всё, что модель видит за один вызов: системный промпт, определения инструментов, разговор до текущего момента, включая результаты инструментов, и генерируемые ею токены. Документация поставщика о контекстных окнах описывает, как эти компоненты учитываются в лимите, и указывает на серверное сжатие как стратегию для разговоров, приближающихся к нему. Два свойства превращают окно в бюджет, а не просто вместилище. Цитируемая работа о длинных контекстах сообщает, что качество часто выше всего, когда нужная информация находится в начале или конце входа, и падает, когда она оказывается в середине. Цитируемая инженерная публикация Anthropic называет тот же эффект context rot: с ростом числа токенов в окне способность модели вспоминать информацию из него снижается.

Почему это важно

Длинная задача — рефакторинг нескольких файлов, исследовательский отчёт, миграция — создаёт гораздо больше текста, чем требуется в каждый отдельный момент. Без бюджета окно заполняется старыми результатами инструментов, ранняя инструкция оказывается в середине, а ответ обрезается лимитом вывода. Каждый такой сбой незаметен: ошибки не возникает, результат просто становится хуже.

Как применять

• Разделите бюджет на четыре части и задайте размер каждой: фиксированная часть (системный промпт, определения инструментов), материал задачи (спецификация, файлы в области работы), рабочий набор (недавние результаты инструментов, не более нескольких шагов вглубь) и резерв (самый длинный ответ, который может потребовать задача, плюс место ещё для одного раунда инструментов).
• Поместите спецификацию и критерии приёмки в начало; в конце каждого хода заново формулируйте текущую подцель, чтобы важное было на обоих краях.
• Храните план, прогресс и решения в файле рабочих заметок, который агент переписывает, и перечитывайте его после каждого сжатия. Сводки сжатия теряют информацию и не должны быть единственной копией.
• Задайте точку сжатия значительно ниже лимита и сжимайте по смыслу — что решено, что осталось, — а не по хронологии.
• Отслеживайте расход по счётчикам токенов поставщика при каждом вызове и останавливайтесь для передачи работы или разделения задачи, когда рабочий набор не помещается даже после сжатия.
• Предпочитайте несколько сосредоточенных задач со свежими контекстами одному контексту, который несёт всё.

Подводные камни

Заполнять окно лишь потому, что оно большое. Удалять критерии приёмки при сжатии. Задавать лимит вывода по привычке и обрезать итоговый ответ. Доверять сводке сжатия, из которой исчезло неизвестное, теперь читаемое как решённый вопрос.