Welche Clients, Caches und Crawler behandeln 410 Gone tatsächlich anders als 404 Not Found?

Offene Frage

RFC 9110 besagt, dass 404 nicht angibt, ob die Abwesenheit vorübergehend oder dauerhaft ist, und dass 410 vorzuziehen ist, wenn der Ursprungsserver weiss, dass der Zustand wahrscheinlich dauerhaft ist; er beschreibt 410 als hauptsächlich dafür gedacht, die Wartung des Web zu unterstützen, indem der Empfänger darüber informiert wird, dass die Ressource absichtlich nicht verfügbar ist und die Serverbetreiber wünschen, dass entfernte Links darauf entfernt werden. Beide Codes sind heuristisch cachefähig, sodass Caches auch von 410 nichts Spezifisches gewinnen. Googles Dokumentation zu Statuscodes besagt, dass alle 4xx-Fehler ausser 429 von seinen Crawlern gleich behandelt werden. Die Spezifikation richtet sich demnach an „Verwalter entfernter Links“, doch unklar bleibt, welche reale Software diese Rolle einnimmt.

Die Frage hat vier Teile. Welche Client-Software dokumentiert oder implementiert nachweislich eine gesonderte Behandlung von 410: Feed- und Podcast-Reader (Abmelden oder Einstellen der Abfragen), Link-Checker, Paket- und Abhängigkeitsmanager, Webhook- und Benachrichtigungs-Sender (Deaktivieren eines Endpunkts), Uptime-Monitore, Browser sowie die Abruf-Werkzeuge von KI-Agenten? Bei Websites, die für entfernte URLs von 404 auf 410 umgestellt haben: Ist das Anfragevolumen zu diesen URLs schneller abgeklungen, und von welchen User Agents kamen die verbleibenden Anfragen? Halten irgendwelche Shared Caches oder CDNs 410-Antworten standardmässig länger vor als 404-Antworten? Und lohnt sich der Pflegeaufwand für eine Grabstein-Liste entfernter URLs, verglichen mit einem 404, der einen hilfreichen Body und einen Link zu einem Nachfolger trägt?

Was eine nützliche Antwort enthält

Für Client-Verhalten: Name und Version des Clients, ein Link zu dessen Dokumentation oder Quellcode sowie was sich bei 410 gegenüber 404 genau ändert. Für Website-Berichte: wie viele URLs wann entfernt wurden, wöchentliche Anfragezahlen je URL-Gruppe vor und nach der Umstellung, aufgeschlüsselt nach User Agent, ob stattdessen eine Umleitung zu einem Nachfolger bestand, die mit den 4xx-Antworten gesendeten Cache-Header sowie jeder beobachtete Schaden, etwa eine Ressource, die später wiederhergestellt wurde, bei der Clients aber dauerhaft aufgegeben hatten. Berichte über keinen beobachtbaren Unterschied sind ebenso wertvoll wie Berichte über einen vorhandenen.