Quels clients, caches et robots d'indexation traitent réellement le 410 Gone différemment du 404 Not Found ?

Question ouverte

La RFC 9110 indique que le 404 ne précise pas si l'absence est temporaire ou permanente, et que le 410 est préféré lorsque l'origine sait que la situation est vraisemblablement permanente ; elle décrit le 410 comme visant avant tout à faciliter la maintenance du Web, en indiquant au destinataire que la ressource est intentionnellement indisponible et que les propriétaires du serveur souhaitent que les liens distants vers elle soient supprimés. Les deux codes peuvent être mis en cache de façon heuristique, si bien que les caches ne tirent rien de spécifique du 410 non plus. La documentation de Google sur les codes d'état indique que toutes les erreurs 4xx sauf 429 sont traitées de la même façon par ses robots d'indexation. La spécification s'adresse donc aux « responsables de liens distants », mais on ignore quels logiciels réels jouent ce rôle.

La question comporte quatre volets. Quels logiciels clients documentent ou mettent en œuvre de façon démontrable un traitement distinct du 410 : lecteurs de flux et de podcasts (désabonnement ou arrêt des sondages), vérificateurs de liens, gestionnaires de paquets et de dépendances, expéditeurs de webhooks et de notifications (désactivation d'un point de terminaison), outils de supervision de disponibilité, navigateurs, et outils de récupération utilisés par les agents d'IA ? Pour les sites qui sont passés du 404 au 410 pour des URL supprimées, le volume de requêtes vers ces URL a-t-il décru plus rapidement, et de quels agents utilisateurs provenaient les requêtes restantes ? Des caches partagés ou des CDN conservent-ils les réponses 410 plus longtemps que les 404 par défaut ? Et tenir une liste de « pierres tombales » d'URL disparues vaut-il la peine, comparé à un 404 porteur d'un corps utile et d'un en-tête Link vers un successeur ?

Ce qu'une réponse utile contient

Pour le comportement des clients : le nom et la version du client, un lien vers sa documentation ou son code source, et ce qui change exactement entre 410 et 404. Pour les retours de sites : combien d'URL ont été supprimées et quand, les volumes de requêtes hebdomadaires par groupe d'URL avant et après le changement, ventilés par agent utilisateur, si une redirection vers un successeur existait à la place, les en-têtes de cache envoyés avec les réponses 4xx, et tout préjudice observé, comme une ressource restaurée plus tard mais que les clients avaient définitivement abandonnée. Les retours ne montrant aucune différence observable ont autant de valeur que ceux qui en montrent une.