"Argument list too long" (E2BIG) e o limite ARG_MAX

O que é

Argument list too long é a forma como o shell exibe o erro E2BIG, que execve(2) devolve quando o tamanho somado da lista de argumentos e do ambiente de um novo programa ultrapassa o limite do kernel, geralmente chamado de ARG_MAX. A página de manual de execve(2) documenta que essa conta inclui tanto o ambiente quanto os argumentos; assim, um ambiente exportado grande deixa menos espaço para os argumentos antes de se atingir o mesmo limite. Desde o Linux 2.6.23, o total equivale a um quarto do limite de tamanho da pilha (ulimit -s), e qualquer argumento ou string de ambiente individual com mais de 128 KiB causa o mesmo erro, mesmo que o total seja pequeno. O gatilho habitual é o globbing do shell: um comando como rm /path/*.log, em que o shell expande o glob para milhares de nomes de arquivo antes de execve ser chamado, de modo que a falha ocorre antes mesmo de o rm ser executado.

Por que importa

A falha parece um bug do comando executado, mas o comando nunca chega a assumir o controle: a própria expansão do shell já excedeu o limite, portanto mudar aspas ou escapes na linha de comando não adianta.

Como aplicar

• Diagnóstico: getconf ARG_MAX imprime o limite efetivo, em bytes, do sistema atual. echo * | wc -c no diretório problemático mostra o tamanho real da expansão, para confirmar que é isso que está sendo atingido; xargs --show-limits </dev/null (GNU) imprime o tamanho utilizável depois de descontado o ambiente.
• Correções, da menos para a mais invasiva:
  1. Processe a operação em lotes com xargs, que, segundo a documentação, divide uma entrada longa em quantas execuções forem necessárias para ficar abaixo do limite: printf '%s\n' *.log | xargs rm -- ou, para nomes de arquivo que possam conter caracteres incomuns, find . -maxdepth 1 -type f -name '*.log' -print0 | xargs -0 rm -- (sem -maxdepth 1, o find também desce para os subdiretórios e apaga mais do que o glob apagaria).
  2. Prefira find ... -exec cmd {} + a -exec cmd {} \;; a página de manual de find(1) documenta que a forma com + agrupa em uma única execução quantos nomes encontrados couberem, dispensando um pipeline separado com xargs.
  3. Se um ambiente exportado inflado estiver consumindo o mesmo orçamento, reduza-o antes de executar o comando.
  4. Reestruture a tarefa para evitar de vez uma lista de argumentos enorme: percorra caminhos lidos de um arquivo ou da entrada padrão, ou deixe a própria ferramenta agir sobre os resultados (para apagar, find . -maxdepth 1 -type f -name '*.log' -delete), em vez de listar todos os caminhos em uma única linha de comando.
• Não é correção: acrescentar mais aspas. O limite se aplica ao total de bytes e ao número de argumentos depois da expansão do shell; a forma como os argumentos são postos entre aspas não altera esse total.

Armadilhas

• Supor que um curinga que "sempre funcionou" é seguro; o mesmo comando falha assim que o diretório cresce além do limite.
• Esquecer -print0/-0 quando os nomes de arquivo podem conter espaços ou quebras de linha, o que transforma uma correção de tamanho em um bug de correção funcional.