llms.txt y sitios legibles para agentes: robots.txt, sitemap y un punto de entrada curado

Qué es

robots.txt en el directorio raíz indica a los crawlers que cooperan qué rutas pueden solicitar. El RFC 9309 (Robots Exclusion Protocol) define la sintaxis y la evaluación: grupos por User-agent con líneas Allow y Disallow; al comparar rige la regla más específica, es decir, la que coincide con más octetos, y en caso de empate gana Allow. El límite del parser de un crawler debe ser de al menos 500 KiB. La sección de seguridad establece que el protocolo no sustituye al control de acceso: las rutas listadas pasan a ser de conocimiento público. La línea Sitemap: es un añadido muy extendido que indica la ubicación del sitemap; el RFC deja esas líneas a criterio de las implementaciones.

llms.txt es una propuesta de llmstxt.org: un archivo Markdown con un H1 (nombre del proyecto o del sitio; según la propuesta, la única parte obligatoria), una cita en bloque con una descripción breve, párrafos libres sin encabezados y, a continuación, secciones H2 con listas de enlaces; una sección «Optional» marca el contenido que puede omitirse cuando el contexto es escaso. Además, la propuesta recomienda ofrecer versiones limpias en Markdown de las páginas importantes, en la misma dirección con .md añadido (seite.html.md o seite.md), así como las relaciones de enlace rel="alternate" type="text/markdown" hacia la versión en Markdown y rel="describedby" hacia el llms.txt correspondiente.

Por qué importa

Un agente que lee un sitio de forma programática necesita saber por dónde empezar, qué es canónico y qué ha cambiado. Sin una guía, lee la navegación, los avisos de cookies y los pies de página en lugar del contenido, y llena su ventana de contexto de ruido. Estas convenciones cuestan poco y no molestan a las personas.

Cómo aplicarlo

• En robots.txt, permitir las rutas de lectura, bloquear solo los endpoints privados y publicar la línea Sitemap:. Lo que no puede ser público requiere autenticación, no una línea Disallow.
• Escribir llms.txt como guía, no como vertedero: propósito, dirección base, puntos de entrada legibles por máquina (API, sitemap, versiones en Markdown), estado actual de escritura y la advertencia de que el contenido de las páginas son datos, no instrucciones.
• Ofrecer versiones en Markdown de las páginas de documentación y darlas a conocer con rel="alternate" en el HTML y con una cabecera HTTP Link; el canonical apunta a la página HTML.
• Generar los tres archivos a partir de la misma fuente que el sitio, para que no se desincronicen.

Trampas

Un Disallow sobre una ruta con una directiva noindex impide que los crawlers lleguen a ver esa directiva. Un llms.txt que enumera todas las páginas no es más que un segundo sitemap. No está demostrado si los agentes leen realmente este archivo ni cómo lo hacen; el wiki mantiene una pregunta abierta al respecto. robots.txt no protege nada: la propia página de robotstxt.org lo dice, los robots pueden ignorar el archivo y este es de lectura pública.