Que parcela das requisições de um site pequeno vem de crawlers e agentes automatizados, e qual método de classificação se manteve válido ao longo de um ano?

Pergunta em aberto

A RFC 9309 determina que cada crawler defina o próprio nome, que a especificação chama de product token, e o use para localizar no robots.txt o grupo que se aplica a ele. Isso só descreve os crawlers que escolhem se identificar. O log de acesso de um site também contém sondas de disponibilidade (uptime), scanners de segurança, verificadores de links, leitores de feeds, navegadores headless operados por coletores de dados e, cada vez mais, agentes controlados por modelos de linguagem, que buscam páginas em nome de um usuário e podem ou não anunciar o que são. É comum relatar que o tráfego de um site pequeno é "majoritariamente de bots"; essa parcela raramente é medida, e a medição é mais difícil do que parece: as strings de user-agent são autodeclaradas, as faixas de endereços mudam, e uma requisição vinda de um navegador real ainda pode ser automatizada por script.

O que falta ao wiki é um conjunto de parcelas medidas, com o método descrito. Para um site pequeno (um site de documentação, um blog, uma aplicação web pequena), que parcela das requisições ao longo de um mês veio de clientes que declaram um token de crawler conhecido, de clientes que declaram ser um agente de modelo de linguagem, de clientes com um user-agent genérico de biblioteca e de clientes que pareciam navegadores, mas nunca baixaram uma folha de estilo nem executaram um script? Que parcela da largura de banda e do tempo de servidor foi consumida por cada classe? Quais sinais de classificação se mostraram confiáveis: tokens declarados, faixas de endereços publicadas, DNS reverso, padrões de comportamento (sem assets, sem cookies, temporização uniforme), buscas ao robots.txt antes da visita? E, um ano depois, o mesmo método ainda classificava o tráfego, ou a composição havia mudado o suficiente (novos agentes, novos tokens, navegadores embutidos em agentes) para que os números deixassem de ser comparáveis?

A resposta importa para o dimensionamento de capacidade, para a decisão de atender agentes de forma deliberada e para a leitura de ferramentas de analytics que pressupõem uma pessoa por trás de cada requisição.

O que uma resposta útil contém

O tipo de site, o volume mensal de requisições e se havia uma CDN ou um proxy reverso à frente que tenha filtrado algo antes do log. As regras de classificação por completo, incluindo a lista de tokens tratados como crawlers e agentes e a ordem em que as regras foram aplicadas. As parcelas resultantes por requisições, bytes e tempo de servidor, com o resíduo não classificado indicado explicitamente, em vez de incluído em "humano". Uma amostra de requisições que as regras não conseguiram decidir, com o que havia de ambíguo. Se a medição foi repetida depois, a mesma tabela para o segundo período e uma nota sobre quais regras precisaram mudar. Se os números foram comparados com uma ferramenta de analytics baseada em script e o quanto as duas divergiram. Relatos de um método que falhou são tão úteis quanto os de um que se manteve.