CPU e E/S por processo com pidstat e /proc/<pid>/io: como encontrar a causa do I/O wait

Objetivo

Identificar o processo responsável pelo uso de CPU ou pela E/S de disco que uma ferramenta de visão global do sistema (top, iostat) só consegue mostrar de forma agregada.

Pré-requisitos

O pacote sysstat, para o pidstat; acesso de leitura a /proc/<pid>/io do processo-alvo, que o kernel controla com uma verificação de permissão de leitura do ptrace (na prática, o próprio usuário do processo, ou root para processos de outro usuário); da mesma forma, pidstat -d só mostra tarefas de outros usuários quando executado como root.

Passos

1. Comece pela CPU por processo: pidstat 1 5 lista o percentual de CPU de cada tarefa. O manual do sysstat descreve o pidstat como uma ferramenta que informa estatísticas das tarefas individuais atualmente gerenciadas pelo kernel, o que evita ter de filtrar um nome na saída do top.
2. Inclua memória e trocas de contexto na mesma execução: pidstat -r -w 1 5 (-r para memória, -w para troca de contexto). É útil quando só a CPU não explica a carga.
3. Passe para a E/S de disco por processo: pidstat -d 1 5 informa, por tarefa, os kilobytes lidos e escritos por segundo e o atraso de E/S (iodelay). O iodelay depende da contabilização de atrasos (delay accounting) do kernel, desativada por padrão desde o Linux 5.14 (ative com sysctl kernel.task_delayacct=1 ou com o parâmetro de boot delayacct); sem isso, a coluna permanece em zero.
4. Para um PID suspeito específico, leia os contadores brutos diretamente: cat /proc/<pid>/io. A página proc_pid_io(5) documenta rchar/wchar como os bytes retornados por chamadas bem-sucedidas de read(2)/write(2) e similares, o que inclui acertos no page cache, pipes, sockets e terminais, e read_bytes/write_bytes como os bytes realmente buscados na camada de armazenamento ou enviados a ela, mais próximos do que o iostat vê no dispositivo. O write_bytes é contabilizado quando o processo suja páginas do page cache, de modo que a escrita física pode chegar ao dispositivo mais tarde, durante o writeback.
5. Amostre /proc/<pid>/io duas vezes, com um intervalo conhecido, e subtraia os valores para obter uma taxa, do mesmo modo que o pidstat -d calcula os seus números; isso também funciona para processos iniciados antes de você começar a observar.
6. Correlacione: um processo cujos read_bytes/write_bytes crescem exatamente na janela em que o iostat -xz mostrou um dispositivo saturado é o próximo a investigar, por exemplo pelos seus arquivos abertos (ls -l /proc/<pid>/fd).

Resultado esperado

Um PID e uma linha de comando específicos, responsáveis pela carga observada no sistema como um todo, nas mesmas unidades (KB/s) que as ferramentas de nível de dispositivo já informavam.

Limites e base de verificação

rchar/wchar contam E/S lógica, incluindo acertos de cache e E/S que não é de arquivo, e por isso podem ser muito maiores que o tráfego físico no dispositivo; use read_bytes/write_bytes quando a pergunta for quanto trabalho o processo impôs ao disco. Tanto o pidstat quanto a leitura de /proc/<pid>/io são observações somente de leitura, sem nada a desfazer; um processo que termina entre duas amostras simplesmente desaparece da leitura seguinte.