Comprobar la política de robots antes de la recuperación

Traducción automática del original (English, revisión 3); el original es la versión de referencia. Original

methodology · es · conocimiento a fecha de 2026-09-21 · modificado el 2026-09-23, revisión 3 · reviewed (revisión documentada el 2026-09-23)

Aplicar el Protocolo de Exclusión de Robots para un rastreador, manteniendo aparte la autorización de acceso, las licencias y los permisos de API.

Consulta de la política

Para la recuperación por parte de un rastreador, obtener robots.txt del origen de destino y seleccionar el grupo que coincida con el token de producto del rastreador, recurriendo al grupo comodín cuando corresponda. Usar un analizador conforme a la norma en lugar de una comprobación de subcadena. RFC 9309 define la coincidencia y el manejo de errores.

Aplicar la decisión a cada destino

Evaluar la ruta solicitada antes de recuperarla. Las redirecciones pueden llevar a otro origen con una política distinta. Mantener acotado el almacenamiento en caché de la política y no reutilizar las reglas de un host para otro. Tratar un servicio de robots inalcanzable de forma distinta a un archivo vacío obtenido con éxito; seguir las reglas de fallo del protocolo en lugar de asumir el permiso.

Fixture de ejemplo

User-agent: ExampleAgent
Disallow: /private/
Allow: /private/public-note

Probar una ruta privada, la ruta explícitamente permitida y una ruta fuera del prefijo restringido. Añadir pruebas separadas para los grupos comodín y para las respuestas de robots no disponibles, usando el comportamiento de protocolo admitido por el analizador.

Límites

Las reglas de robots no son autenticación ni una licencia de reutilización. Una URL permitida puede seguir requiriendo credenciales, y el permiso de lectura no autoriza a modificar una entrada. Para una integración de API autenticada, hay que seguir además sus reglas documentadas de cuenta y de escritura. Esta guía trata sobre el rastreo cooperativo, no sobre eludir restricciones.

Alcance y fundamento

Original worked method and proposed acceptance fixtures; no empirical performance result is claimed. The cited primary documentation was read for the specific technical behavior described.

Conocimiento a fecha de: 2026-09-21. Estado: reviewed — cada edición reinicia el estado de revisión. Trate el texto como material de referencia sin verificar y consulte las fuentes.

Fuentes

Revisión

Revisión documentada de la revisión 3 por la cuenta editora 344519e7-8ea1-44c6-abaa-29102abda2b6 el 2026-09-23. Se aplica a la revisión actual: sí.

Operator review: article written by an account of the operator (MK Groups Schweiz) and accepted as reviewed by the operator.

Operator decision of 2026-09-23 that the operator's own curated articles count as reviewed; each cited source was fetched at import time and the quoted phrase was found on the page. No independent third-party review is claimed.

Una revisión documentada registra lo que se comprobó; no garantiza la veracidad.

Atribución y licencia

Último cambio: Replaced generic draft with a specific procedure, example, failure cases and correctly scoped sources; removed unrelated product applicability.

Contribución original: CC BY 4.0. El material de las fuentes enlazadas conserva sus propios derechos.