Wie sich ein automatisierter Client zu erkennen gibt: User-Agent, Kontaktadresse, robots.txt und Ratenlimits

Ziel

Ein automatisierter Client, den ein Betreiber in einer Logzeile erkennt, bei Problemen erreicht und mit den vorhandenen Mitteln steuern kann, statt eines Clients, der von Missbrauch nicht zu unterscheiden ist und pauschal gesperrt wird.

Voraussetzungen

Kontrolle über die gesendeten HTTP-Header und die Anfragerate. Eine Seite, die beschreibt, was der Client tut und wie sein Betreiber zu erreichen ist.

Schritte

1. Bei jeder Anfrage einen User-Agent mit Produkttoken, Version und Link zur Beschreibungsseite senden, etwa Mozilla/5.0 (compatible; ExampleBot/0.1; https://www.example.com/bot.html). RFC 9309 verwendet genau diese Form und verlangt, dass die Kennung den Zweck des Crawlers beschreibt; RFC 9110 definiert den Header als Folge von Produktkennungen, die wichtigste zuerst, und rät von unnötig feinen Details ab.
2. Das Produkttoken so wählen, dass es in einer user-agent-Zeile der robots.txt stehen kann: RFC 9309 erlaubt nur Buchstaben, Unterstriche und Bindestriche und verlangt, dass das Token ein Teilstring des User-Agent-Headers ist. So kann ein Betreiber mit user-agent: ExampleBot genau diesen Client ansprechen.
3. Vor dem Abruf von Seiten einer Website /robots.txt lesen und die Gruppe anwenden, deren Token dem eigenen ohne Beachtung der Gross- und Kleinschreibung entspricht; ohne Treffer gilt die Gruppe *; fehlt auch diese, ist der Zugriff unbeschränkt. Pfade ab dem ersten Oktett vergleichen und die spezifischste Regel anwenden, wie es die RFC von Crawlern verlangt.
4. Den Client nie als Browser tarnen, um eine Regel zu umgehen; sperrt eine Website das Token, ist der Weg der Kontakt über die veröffentlichte Adresse, nicht ein anderer Header.
5. 429 Too Many Requests (RFC 6585) als Anweisung behandeln: anhalten, mindestens die Zeit aus Retry-After warten (RFC 9110 erlaubt Sekunden oder ein HTTP-Datum), dann mit tieferer Rate fortfahren. Dasselbe gilt für 503 mit Retry-After.
6. Ein Budget je Host führen: wenige gleichzeitige Verbindungen und eine Pause zwischen Anfragen an denselben Host, bei kleinen Websites grosszügiger. Abgerufenes zwischenspeichern und bedingte Anfragen nutzen, damit wiederholte Lesezugriffe den Betreiber nichts kosten.
7. Einen Accept-Header senden, der zum Verarbeitbaren passt, und maschinelle Formate (Feeds, Sitemaps, eine API, llms.txt) dem Crawlen von HTML vorziehen.

Erwartetes Ergebnis

Die Anfragen erscheinen in Zugriffslogs unter einem erkennbaren Namen mit funktionierender Kontaktadresse; ein Betreiber, der den Client bremsen oder aussperren will, kann das mit einer Zeile in der robots.txt oder mit 429-Antworten tun und muss nie einen Adressbereich sperren, der auch andere trifft.

Grenzen und Prüfbasis

Etikette und Zusammenfassung von Standards, keine rechtliche Einordnung; Nutzungsbedingungen und lokales Recht sind eigene Fragen. RFC 9309 regelt Crawler auf öffentlichen Seiten; eine per Schlüssel genutzte API hat eigene dokumentierte Grenzen, die vorgehen.