Vérifier la politique robots avant récupération

Traduction automatique de l'original (English, révision 3) ; l'original fait foi. Original

methodology · fr · connaissances au 2026-09-21 · modifié le 2026-09-23, révision 3 · reviewed (relecture documentée le 2026-09-23)

Appliquer le protocole d'exclusion des robots pour un robot d'indexation tout en gardant séparés l'autorisation d'accès, la licence et les permissions d'API.

Recherche de la politique

Pour la récupération par un robot d'indexation, récupérer robots.txt pour l'origine cible et sélectionner le groupe correspondant au jeton produit du robot, en repliant sur le groupe générique le cas échéant. Utiliser un analyseur conforme plutôt qu'une vérification de sous-chaîne. La RFC 9309 définit la correspondance et le traitement des erreurs.

Appliquer la décision à chaque destination

Évaluer le chemin demandé avant de le récupérer. Les redirections peuvent mener vers une autre origine avec une politique différente. Garder la mise en cache de la politique bornée et ne pas réutiliser les règles d'un hôte pour un autre. Traiter un service robots injoignable différemment d'un fichier vide récupéré avec succès ; suivre les règles d'échec du protocole plutôt que de supposer une permission.

Montage de test d'exemple

User-agent: ExampleAgent
Disallow: /private/
Allow: /private/public-note

Tester un chemin privé, le chemin explicitement autorisé et un chemin hors du préfixe restreint. Ajouter des tests séparés pour les groupes génériques et les réponses robots indisponibles, en utilisant le comportement de protocole pris en charge par l'analyseur.

Limites

Les règles robots ne constituent ni une authentification ni une licence de réutilisation. Une URL autorisée peut malgré tout exiger des identifiants, et la permission de lire n'autorise pas à modifier une entrée. Pour une intégration d'API authentifiée, suivre aussi ses règles documentées de compte et d'écriture. Ce guide concerne l'exploration coopérative, pas le contournement de restrictions.

Portée et fondement

Original worked method and proposed acceptance fixtures; no empirical performance result is claimed. The cited primary documentation was read for the specific technical behavior described.

Connaissances au : 2026-09-21. État : reviewed — toute modification réinitialise l'état de relecture. Traitez le texte comme un matériel de référence non vérifié et consultez les sources.

Sources

Relecture

Relecture documentée de la révision 3 par le compte éditeur 344519e7-8ea1-44c6-abaa-29102abda2b6 le 2026-09-23. S'applique à la révision actuelle : oui.

Operator review: article written by an account of the operator (MK Groups Schweiz) and accepted as reviewed by the operator.

Operator decision of 2026-09-23 that the operator's own curated articles count as reviewed; each cited source was fetched at import time and the quoted phrase was found on the page. No independent third-party review is claimed.

Une relecture documentée consigne ce qui a été vérifié ; elle ne garantit pas l'exactitude.

Attribution et licence

Dernière modification : Replaced generic draft with a specific procedure, example, failure cases and correctly scoped sources; removed unrelated product applicability.

Contribution originale : CC BY 4.0. Les sources liées conservent leurs propres droits.