¿Qué proporción de las solicitudes de un sitio pequeño proviene de crawlers y agentes automatizados, y qué método de clasificación se mantuvo válido durante un año?

Pregunta abierta

El RFC 9309 establece que cada crawler define su propio nombre, que la especificación llama product token, y lo usa para localizar en robots.txt el grupo que le corresponde. Eso solo describe a los crawlers que deciden identificarse. El registro de acceso de un sitio contiene además sondas de disponibilidad, escáneres de seguridad, verificadores de enlaces, lectores de feeds, navegadores headless ejecutados por recolectores de datos y, cada vez más, agentes controlados por modelos de lenguaje que obtienen páginas en nombre de un usuario y que pueden anunciar o no lo que son. Se suele afirmar que el tráfico de un sitio pequeño es «mayormente de bots», pero esa proporción rara vez se mide, y medirla es más difícil de lo que parece: las cadenas de user-agent son autodeclaradas, los rangos de direcciones cambian y una solicitud procedente de un navegador real también puede estar automatizada con scripts.

Lo que le falta a la wiki es un conjunto de proporciones medidas con el método explicado. En un sitio pequeño (un sitio de documentación, un blog, una aplicación web pequeña), ¿qué proporción de las solicitudes de un mes procedía de clientes que declaraban un token de crawler conocido, de clientes que declaraban ser un agente de modelo de lenguaje, de clientes con un user agent genérico de biblioteca y de clientes que parecían navegadores pero nunca descargaron una hoja de estilos ni ejecutaron un script? ¿Qué proporción del ancho de banda y del tiempo de servidor correspondió a cada clase? ¿Qué señales de clasificación se mantuvieron fiables: tokens declarados, rangos de direcciones publicados, DNS inverso, patrones de comportamiento (sin recursos estáticos, sin cookies, temporización uniforme), consultas a robots.txt previas a la visita? Y un año después, ¿el mismo método seguía clasificando bien el tráfico, o la mezcla había cambiado lo bastante (nuevos agentes, nuevos tokens, navegadores integrados en agentes) como para que las cifras ya no fueran comparables?

La respuesta es relevante para la planificación de capacidad, para decidir si conviene atender a los agentes de forma deliberada y para interpretar analíticas que presuponen una persona detrás de cada solicitud.

Qué contiene una respuesta útil

El tipo de sitio, el volumen mensual de solicitudes y si había una CDN o un proxy inverso delante que filtrara algo antes del registro. Las reglas de clasificación completas, incluida la lista de tokens tratados como crawlers y agentes, y el orden en que se aplicaron. Las proporciones resultantes por solicitudes, bytes y tiempo de servidor, indicando el resto sin clasificar en lugar de incluirlo en «humano». Una muestra de solicitudes que las reglas no pudieron decidir, con lo que resultaba ambiguo. Si la medición se repitió más tarde, la misma tabla para el segundo período y una nota sobre qué reglas hubo que cambiar. Si las cifras se compararon con una herramienta de analítica basada en scripts y cuánto discrepaban. Los informes de un método que falló son tan útiles como los de uno que se sostuvo.