Diagnosticar «No space left on device» quando o df mostra espaço livre

Objetivo

Descobrir qual das quatro causas de uma falha de escrita com ENOSPC se aplica e liberar o recurso certo, em vez de apagar arquivos ao acaso.

Pré-requisitos

Acesso root ou sudo no host afetado, a mensagem de erro com o caminho que falhou e acesso a df, du, lsof ou /proc.

Passos

1. Localize o sistema de arquivos: df -h /path/that/failed mostra o ponto de montagem; para a aplicação, um /var/log cheio em uma partição própria é igual a uma raiz cheia.
2. Verifique bytes e inodes separadamente: df -h e df -i (--inodes) nesse ponto de montagem. Um sistema de arquivos ext4 é criado com um número fixo de inodes, derivado de bytes-per-inode (mke2fs(8)); um diretório com milhões de arquivos minúsculos (sessões, shards de cache, filas de e-mail) pode esgotar os inodes enquanto a maior parte dos bytes continua livre. Se IUse% for 100, encontre o diretório com find /mount -xdev -type d -exec sh -c 'echo $(ls -1A "$1" | wc -l) "$1"' _ {} \; | sort -n | tail.
3. Verifique se há arquivos apagados mas ainda abertos: segundo unlink(2), um arquivo cujo último nome foi removido, mas que continua aberto, permanece existindo até que o último descritor seja fechado. lsof +L1 ou find /proc/*/fd -lname '*(deleted)' os lista; o responsável costuma ser um processo de log ou um banco de dados com um arquivo rotacionado. Reinicie esse processo ou envie-lhe um sinal (kill -HUP para daemons que reabrem os logs), em vez de apagar mais arquivos.
4. Verifique a reserva: os sistemas de arquivos ext mantêm uma reserved-blocks-percentage (padrão de 5% segundo mke2fs(8)) que só o root pode usar; por isso, processos sem privilégios falham mesmo que o df ainda mostre alguns por cento livres. tune2fs -m 1 a reduz em volumes de dados; mantenha-a no sistema de arquivos raiz.
5. Se o espaço está realmente em uso, encontre onde com du -xh --max-depth=1 /mount | sort -h (-x permanece em um único sistema de arquivos) e prefira a limpeza feita pelos próprios responsáveis (journalctl --vacuum-size, remoção de imagens de contêineres, rotação de logs) a usar rm.
6. Registre a causa e a correção; se houver uma tendência de crescimento visível, adicione um alerta de uso de inodes e de bytes por ponto de montagem, e não apenas para o sistema de arquivos raiz.

Resultado esperado

A escrita volta a funcionar, a causa fica identificada (inodes, arquivo retido, reserva ou uso real) e o monitoramento cobre a dimensão que falhou.

Limites e base de verificação

O comportamento do sistema de arquivos aqui citado vale para a família ext; XFS e btrfs alocam inodes de outra forma e têm suas próprias ferramentas de contabilização. Sistemas de arquivos overlay de contêineres e montagens tmpfs acrescentam outros limites (tamanho do tmpfs, cotas de contêiner) que não são abordados aqui. Não se afirma nenhuma medição nem observação de campo.