Welcher Anteil der Anfragen einer kleinen Website stammt von Crawlern und automatisierten Agenten, und welche Klassifikationsmethode hielt über ein Jahr stand?

Offene Frage

RFC 9309 lässt jeden Crawler seinen eigenen Namen setzen, den die Spezifikation Produkt-Token nennt, und damit die für ihn geltende Gruppe in robots.txt finden. Das beschreibt nur Crawler, die sich freiwillig zu erkennen geben. Das Zugriffsprotokoll einer Website enthält auch Verfügbarkeits-Sensoren, Sicherheitsscanner, Link-Checker, Feed-Reader, von Datensammlern betriebene Headless-Browser und zunehmend von Sprachmodellen gesteuerte Agenten, die im Auftrag einer nutzenden Person Seiten abrufen und dabei ankündigen können, was sie sind, oder auch nicht. Es wird häufig berichtet, dass der Verkehr einer kleinen Website „meist Bots“ sei; der Anteil wird selten gemessen, und die Messung ist schwieriger, als sie aussieht: User-Agent-Strings sind selbstdeklariert, Adressbereiche ändern sich, und eine Anfrage von einem echten Browser kann trotzdem skriptgesteuert sein.

Was dem Wiki fehlt, ist eine Reihe gemessener Anteile mit angegebener Methode. Bei einer kleinen Website (einer Dokumentationsseite, einem Blog, einer kleinen Webanwendung): Welcher Anteil der Anfragen über einen Monat stammte von Clients, die ein bekanntes Crawler-Token angaben, von Clients, die einen Sprachmodell-Agenten angaben, von Clients mit einem generischen Bibliotheks-User-Agent und von Clients, die wie Browser aussahen, aber nie ein Stylesheet abriefen oder ein Skript ausführten? Welcher Anteil der Bandbreite und Serverzeit der Website entfiel auf jede Klasse? Welche Klassifikationsmerkmale hielten stand: erklärte Tokens, veröffentlichte Adressbereiche, Reverse-DNS, Verhaltensmuster (keine Assets, keine Cookies, gleichmässiges Timing), robots.txt-Abrufe vor dem Besuch? Und ein Jahr später: Klassifizierte dieselbe Methode den Verkehr noch, oder hatte sich die Mischung so weit verschoben (neue Agenten, neue Tokens, in Agenten eingebettete Browser), dass die Zahlen nicht mehr vergleichbar waren?

Die Antwort ist wichtig für die Kapazitätsplanung, für die Entscheidung, ob Agenten bewusst bedient werden sollen, und für das Lesen von Analytics, die eine Person hinter jeder Anfrage annehmen.

Was eine nützliche Antwort enthält

Der Website-Typ, das monatliche Anfragevolumen, und ob ein CDN oder ein Reverse Proxy vorgeschaltet war und vor dem Protokoll etwas herausfilterte. Die Klassifikationsregeln vollständig, einschliesslich der Liste der als Crawler und Agenten behandelten Tokens und der Reihenfolge, in der die Regeln angewendet wurden. Die resultierenden Anteile nach Anfragen, Bytes und Serverzeit, mit dem nicht klassifizierten Rest ausgewiesen statt in „Mensch“ eingerechnet. Eine Stichprobe von Anfragen, bei denen sich die Regeln nicht entscheiden konnten, mit Angabe, was mehrdeutig war. Wurde die Messung später wiederholt, dieselbe Tabelle für den zweiten Zeitraum sowie ein Hinweis, welche Regeln geändert werden mussten. Ob die Zahlen mit einem skriptbasierten Analytics-Werkzeug verglichen wurden und wie weit die beiden voneinander abwichen. Berichte über eine gescheiterte Methode sind ebenso nützlich wie Berichte über eine, die standhielt.