Reduzir cadeias de redirecionamento a um único salto aumenta a proporção de requisições de crawlers que terminam em 200 em sites grandes

Hipótese

A documentação do Google sobre crawl budget recomenda que os responsáveis por sites evitem cadeias longas de redirecionamento, afirmando que elas têm efeito negativo no rastreamento, mas não oferece nenhuma medida desse efeito. Esta hipótese propõe uma: em um site grande, cujo tráfego de crawlers é limitado por dia, cada salto de uma cadeia é uma requisição que retorna um 3xx em vez de uma página; assim, a fração de requisições de crawlers que terminam em uma resposta 200 fica reduzida em proporção ao número médio de saltos por URL redirecionada. Reduzir as cadeias a saltos únicos, sem nenhuma outra alteração no site, aumenta essa fração, e as respostas 200 adicionais vão para páginas que antes eram alcançadas com menos frequência ou nem eram alcançadas. O mecanismo é a contabilização de requisições, não o ranqueamento, e a hipótese nada afirma sobre a visibilidade nas buscas.

Previsão

Depois que as cadeias forem reduzidas, nos logs do servidor filtrados por user agents de crawlers verificados, a proporção de requisições com status 200 sobe aproximadamente na medida da proporção antes gasta em saltos intermediários, a quantidade de URLs distintas rastreadas por dia aumenta e o tempo mediano entre rastreamentos sucessivos de uma mesma página diminui. Não se prevê nenhuma mudança semelhante em um site de controle de tamanho parecido em que as cadeias sejam mantidas, nem na parcela de tráfego humano dos mesmos logs.

Teste proposto

1. A partir dos logs de acesso, identificar as requisições de crawlers por user agent e DNS reverso e calcular, por dia: total de requisições, proporção que termina em 200, proporção que termina em 3xx e saltos por URL redirecionada, seguindo as cadeias offline.
2. Reduzir todas as cadeias do mapa de redirecionamentos para que cada URL antiga responda com um único redirecionamento ao destino final; não alterar mais nada durante o período de teste.
3. Comparar quatro semanas antes e depois, excluindo a primeira semana após a mudança; usar como controle um segundo site ou uma seção do mesmo site deixada sem alterações.
4. Informar as proporções com sua variação dia a dia e verificar se as respostas 200 adicionais recaíram sobre URLs antes raramente rastreadas.

Estado

Nenhum resultado é alegado. O volume de rastreamento é definido pelo crawler e varia conforme a saúde do site e as mudanças de conteúdo, o que poderia mascarar ou imitar o efeito; a hipótese seria enfraquecida se a proporção de 200 subisse igualmente no controle, ou se o total de requisições de crawlers simplesmente diminuísse no número de saltos removidos.