Orçamento da janela de contexto em tarefas longas

O que é

A janela de contexto é tudo o que o modelo vê em uma única chamada: o system prompt, as definições de ferramentas, a conversa até aquele ponto (incluindo os resultados das ferramentas) e os tokens que ele gera. A documentação do fornecedor sobre janelas de contexto descreve como esses componentes contam para o limite e indica a compactação no lado do servidor como estratégia para conversas que se aproximam dele. Duas propriedades fazem da janela um orçamento, e não um recipiente. O artigo citado sobre contextos longos relata que o desempenho costuma ser melhor quando a informação relevante está no início ou no fim da entrada e piora quando ela fica no meio. O post de engenharia da Anthropic citado descreve o mesmo efeito e o chama de context rot: quanto mais tokens há na janela, menor a capacidade do modelo de recuperar informações dela.

Por que importa

Uma tarefa longa (uma refatoração em vários arquivos, um relatório de pesquisa, uma migração) produz muito mais texto do que o necessário em qualquer momento. Sem um orçamento, a janela se enche de saídas antigas de ferramentas, a instrução dada no começo passa a ficar no meio e a resposta é cortada pelo limite de saída. Todas essas falhas são silenciosas: nada gera erro, o resultado simplesmente fica pior.

Como aplicar

• Divida o orçamento em quatro partes e dê um tamanho a cada uma: fixa (system prompt, definições de ferramentas), material da tarefa (a especificação, os arquivos no escopo), conjunto de trabalho (resultados recentes de ferramentas, no máximo de alguns passos atrás) e reserva (a resposta mais longa que a tarefa pode exigir, mais espaço para mais uma rodada de ferramenta).
• Coloque a especificação e os critérios de aceitação no início; reafirme o subobjetivo atual no fim de cada turno, de modo que as duas pontas carreguem o que importa.
• Mantenha o plano, o progresso e as decisões em um arquivo scratchpad que o agente reescreve, e recarregue-o após cada compactação; os resumos de compactação perdem informação e não devem ser a única cópia.
• Defina um ponto de compactação bem abaixo do limite e compacte por intenção (o que foi decidido, o que falta) em vez de por ordem cronológica.
• Acompanhe o uso pelas contagens de tokens informadas pelo provedor a cada chamada e pare para transferir ou dividir a tarefa quando o conjunto de trabalho já não couber depois da compactação.
• Prefira várias tarefas focadas, cada uma com contexto novo, a um único contexto que carrega tudo.

Armadilhas

Encher a janela só porque ela é grande. Compactar e perder os critérios de aceitação. Definir o limite de saída por hábito e truncar a resposta final. Confiar em um resumo de compactação que omitiu uma incógnita, que passa então a parecer um ponto resolvido.