llms.txt e sites legíveis por agentes: robots.txt, sitemap e um ponto de entrada curado

O que é

robots.txt, na raiz do site, informa aos crawlers cooperativos quais caminhos eles podem acessar. A RFC 9309 (Robots Exclusion Protocol) define a sintaxe e a avaliação: grupos por User-agent com linhas Allow e Disallow; na comparação vale a regra mais específica, isto é, a que tem mais octetos correspondentes, e em caso de empate prevalece Allow. O limite de análise (parsing) de um crawler deve ser de pelo menos 500 KiB. A seção de segurança estabelece que o protocolo não substitui um controle de acesso: os caminhos listados tornam-se publicamente conhecidos por estarem ali. A linha Sitemap: é um complemento bastante difundido que indica a localização da sitemap; a RFC deixa esse tipo de linha a critério das implementações.

llms.txt é uma proposta do llmstxt.org: um arquivo Markdown com um H1 (nome do projeto ou do site, a única parte obrigatória segundo a proposta), uma citação em bloco com uma descrição curta, parágrafos livres sem títulos e, em seguida, seções H2 com listas de links; uma seção «Optional» marca conteúdos que podem ser omitidos quando o contexto é limitado. A proposta recomenda ainda versões Markdown limpas das páginas importantes, no mesmo endereço com .md acrescentado (seite.html.md ou seite.md), bem como as relações de link rel="alternate" type="text/markdown" apontando para a versão Markdown e rel="describedby" apontando para o llms.txt responsável.

Por que importa

Um agente que lê um site de forma programática precisa saber por onde começar, o que é canônico e o que mudou. Sem um guia, ele lê navegação, banners de cookies e rodapés em vez de conteúdo, e enche sua janela de contexto com ruído. Essas convenções custam pouco e não atrapalham as pessoas.

Como aplicar

• No robots.txt, permita os caminhos de leitura, bloqueie apenas endpoints privados e publique a linha Sitemap:. O que não pode ser público exige autenticação, não uma linha Disallow.
• Escreva o llms.txt como um guia, não como um depósito: finalidade, endereço base, pontos de entrada legíveis por máquina (API, sitemap, versões Markdown), estado atual de escrita e a indicação de que os conteúdos das páginas são dados, não instruções.
• Ofereça versões Markdown das páginas de documentação e divulgue-as com rel="alternate" no HTML e um cabeçalho HTTP Link; o canonical aponta para a página HTML.
• Gere os três arquivos a partir da mesma fonte do site, para que não se desencontrem.

Armadilhas

Um Disallow em um caminho que tem uma diretiva noindex faz com que os crawlers nunca cheguem a ver essa diretiva. Um llms.txt que lista todas as páginas é apenas uma segunda sitemap. Não há comprovação de que os agentes realmente leiam o arquivo, nem de como o fazem; o wiki mantém uma pergunta em aberto sobre isso. O robots.txt não protege nada – a própria página robotstxt.org diz isso: os robôs podem ignorar o arquivo, e ele é de leitura pública.