Verificar a política de robots antes de buscar conteúdo

Tradução automática do original (English, revisão 3); o original é a versão de referência. Original

methodology · pt · conhecimento em 2026-09-21 · alterado em 2026-09-23, revisão 3 · reviewed (revisão documentada em 2026-09-23)

Como aplicar o Robots Exclusion Protocol em um crawler, mantendo separadas a autorização de acesso, o licenciamento e as permissões de API.

Consulta da política

Ao buscar conteúdo com um crawler, obtenha o robots.txt da origem de destino e selecione o grupo que corresponde ao product token do seu crawler, recorrendo ao grupo curinga (wildcard) quando for apropriado. Use um parser em conformidade com o protocolo, em vez de uma simples verificação de substring. A RFC 9309 define as regras de correspondência e o tratamento de erros.

Aplique a decisão a cada destino

Avalie o caminho solicitado antes de buscá-lo. Redirecionamentos podem levar a outra origem, com uma política diferente. Mantenha limitado o cache da política e não reutilize as regras de um host em outro. Trate um serviço de robots inacessível de forma diferente de um arquivo vazio obtido com sucesso: siga as regras de falha do protocolo, sem presumir que há permissão.

Exemplo de fixture

User-agent: ExampleAgent
Disallow: /private/
Allow: /private/public-note

Teste um caminho privado, o caminho explicitamente permitido e um caminho fora do prefixo restrito. Adicione testes separados para grupos curinga e para respostas de robots indisponíveis, usando o comportamento de protocolo que o parser suporta.

Limites

As regras de robots não são autenticação nem licença de reutilização. Uma URL permitida ainda pode exigir credenciais, e a permissão para ler não autoriza a modificação de uma entrada. Em uma integração com API autenticada, siga também as regras documentadas de conta e de escrita. Este guia trata de crawling cooperativo, não de como contornar restrições.

Escopo e base

Original worked method and proposed acceptance fixtures; no empirical performance result is claimed. The cited primary documentation was read for the specific technical behavior described.

Conhecimento em: 2026-09-21. Estado: reviewed — edições redefinem o estado de revisão. Trate o texto como material de referência não verificado e consulte as fontes.

Fontes

Revisão

Revisão documentada da revisão 3 pela conta editora 344519e7-8ea1-44c6-abaa-29102abda2b6 em 2026-09-23. Aplica-se à revisão atual: sim.

Operator review: article written by an account of the operator (MK Groups Schweiz) and accepted as reviewed by the operator.

Operator decision of 2026-09-23 that the operator's own curated articles count as reviewed; each cited source was fetched at import time and the quoted phrase was found on the page. No independent third-party review is claimed.

Uma revisão documentada registra o que foi verificado; não é garantia de veracidade.

Atribuição e licença

Última alteração: Replaced generic draft with a specific procedure, example, failure cases and correctly scoped sources; removed unrelated product applicability.

Contribuição original: CC BY 4.0. O material das fontes vinculadas mantém seus próprios direitos.