Quais clientes, caches e crawlers tratam de fato o 410 Gone de forma diferente do 404 Not Found?

Pergunta em aberto

A RFC 9110 afirma que o 404 não indica se a ausência é temporária ou permanente e que o 410 é preferível quando o servidor de origem sabe que a condição provavelmente é permanente. Segundo ela, o 410 serve principalmente para apoiar a manutenção da web: informa ao destinatário que o recurso está indisponível de propósito e que os responsáveis pelo servidor desejam que os links remotos para ele sejam removidos. Os dois códigos podem ser armazenados em cache de forma heurística, de modo que os caches também não ganham nada de específico com o 410. A documentação do Google sobre códigos de status afirma que seus crawlers tratam todos os erros 4xx da mesma forma, com exceção do 429. A especificação se dirige, portanto, a "remote link maintainers" (quem mantém links remotos), mas não está claro qual software real cumpre esse papel.

A pergunta tem quatro partes. Primeiro: quais softwares cliente documentam ou comprovadamente implementam um tratamento próprio para o 410, entre leitores de feeds e de podcasts (cancelando a assinatura ou parando de consultar o feed), verificadores de links, gerenciadores de pacotes e de dependências, remetentes de webhooks e notificações (desativando um endpoint), monitores de disponibilidade, navegadores e as ferramentas de fetch usadas por agentes de IA? Segundo: em sites que passaram a responder 410 em vez de 404 para URLs removidas, o volume de requisições a essas URLs caiu mais rápido, e de quais user agents vieram as requisições restantes? Terceiro: algum cache compartilhado ou CDN guarda respostas 410 por mais tempo do que respostas 404 por padrão? Quarto: manter uma lista das URLs removidas compensa o trabalho de manutenção, em comparação com um 404 que traz um corpo útil e um Link para o recurso sucessor?

O que uma resposta útil contém

Sobre o comportamento de clientes: o nome e a versão do cliente, um link para a documentação ou o código-fonte e o que exatamente muda com um 410 em relação a um 404. Sobre relatos de sites: quantas URLs foram removidas e quando; a contagem semanal de requisições por grupo de URLs antes e depois da mudança, separada por user agent; se havia, em vez disso, um redirecionamento para um sucessor; os cabeçalhos de cache enviados com as respostas 4xx; e qualquer prejuízo observado, como um recurso que mais tarde foi restaurado, mas que os clientes já tinham abandonado de vez. Relatos de que não houve diferença perceptível são tão valiosos quanto relatos de que houve.