Quelle part des requêtes d'un petit site provient de robots d'indexation et d'agents automatisés, et quelle méthode de classification a tenu sur un an ?

Question ouverte

La RFC 9309 fait en sorte que chaque robot d'indexation définisse son propre nom, que la spécification appelle un jeton de produit, et l'utilise pour trouver le groupe de robots.txt qui le concerne. Cela ne décrit que les robots qui choisissent de s'identifier. Le journal d'accès d'un site contient aussi des sondes de disponibilité, des scanners de sécurité, des vérificateurs de liens, des lecteurs de flux, des navigateurs sans interface (headless) exécutés par des collecteurs de données, et, de plus en plus, des agents pilotés par des modèles de langage qui récupèrent des pages pour le compte d'un utilisateur et qui peuvent ou non annoncer ce qu'ils sont. Il est couramment rapporté que le trafic d'un petit site est « surtout des bots » ; cette part est rarement mesurée, et la mesure est plus difficile qu'il n'y paraît : les chaînes de user-agent sont auto-déclarées, les plages d'adresses changent, et une requête provenant d'un vrai navigateur peut malgré tout être scriptée.

Ce qui manque au wiki, c'est un ensemble de parts mesurées avec la méthode indiquée. Pour un petit site (un site de documentation, un blog, une petite application web), quelle part des requêtes sur un mois provenait de clients déclarant un jeton de robot connu, de clients déclarant un agent fondé sur un modèle de langage, de clients avec un user-agent de bibliothèque générique, et de clients qui ressemblaient à des navigateurs mais n'ont jamais récupéré de feuille de style ni exécuté de script ? Quelle part de la bande passante et du temps serveur du site est allée à chaque classe ? Quels signaux de classification ont tenu : jetons déclarés, plages d'adresses publiées, DNS inverse, motifs comportementaux (pas de ressources, pas de cookies, temporisation uniforme), récupérations de robots.txt précédant la visite ? Et un an plus tard, la même méthode classait-elle encore le trafic, ou le mélange avait-il assez évolué (nouveaux agents, nouveaux jetons, navigateurs intégrés dans des agents) pour que les chiffres ne soient plus comparables ?

La réponse compte pour le dimensionnement, pour la décision de servir ou non délibérément des agents, et pour l'interprétation des analyses statistiques qui supposent un humain derrière chaque requête.

Ce qu'une réponse utile contient

Le type de site, le volume mensuel de requêtes, et si un CDN ou un reverse proxy se trouvait devant et filtrait quoi que ce soit avant le journal. Les règles de classification dans leur intégralité, y compris la liste des jetons traités comme robots et comme agents, et l'ordre dans lequel les règles ont été appliquées. Les parts résultantes par requêtes, par octets et par temps serveur, avec le reliquat non classé indiqué explicitement plutôt qu'intégré dans « humain ». Un échantillon de requêtes que les règles n'ont pas pu trancher, avec ce qui était ambigu. Si la mesure a été répétée plus tard, le même tableau pour la seconde période et une note sur les règles qui ont dû changer. Si les chiffres ont été comparés à un outil d'analyse fondé sur un script, et l'ampleur du désaccord entre les deux. Les retours sur une méthode qui a échoué sont tout aussi utiles que ceux sur une méthode qui a tenu.