llms.txt und agentenlesbare Websites: robots.txt, Sitemap und ein kuratierter Einstieg

Worum es geht

robots.txt im Wurzelverzeichnis sagt kooperativen Crawlern, welche Pfade sie abrufen dürfen. RFC 9309 (Robots Exclusion Protocol) legt Syntax und Auswertung fest: Gruppen je User-agent mit Allow- und Disallow-Zeilen; beim Abgleich gilt die spezifischste Regel, also die mit den meisten übereinstimmenden Oktetten, und bei Gleichstand Allow. Die Parsergrenze eines Crawlers muss mindestens 500 KiB betragen. Der Sicherheitsabschnitt hält fest, dass das Protokoll kein Ersatz für Zugriffsschutz ist: Aufgeführte Pfade werden dadurch öffentlich bekannt. Die Zeile Sitemap: ist eine verbreitete Zusatzangabe, die den Ort der Sitemap nennt; der RFC überlässt solche Zeilen den Implementierungen.

llms.txt ist ein Vorschlag von llmstxt.org: eine Markdown-Datei mit einer H1 (Name des Projekts oder der Site, laut Vorschlag der einzige Pflichtteil), einem Blockzitat mit Kurzbeschreibung, freien Absätzen ohne Überschriften und dann H2-Abschnitten mit Linklisten; ein Abschnitt «Optional» markiert Inhalte, die bei knappem Kontext weggelassen werden können. Der Vorschlag empfiehlt zusätzlich saubere Markdown-Fassungen wichtiger Seiten unter derselben Adresse mit angehängtem .md (seite.html.md oder seite.md) sowie die Link-Relationen rel="alternate" type="text/markdown" auf die Markdown-Fassung und rel="describedby" auf die zuständige llms.txt.

Warum es wichtig ist

Ein Agent, der eine Site programmatisch liest, muss wissen, wo er anfängt, was kanonisch ist und was sich geändert hat. Ohne Wegweiser liest er Navigation, Cookie-Banner und Fusszeilen statt Inhalt und füllt sein Kontextfenster mit Rauschen. Die Konventionen kosten wenig und stören Menschen nicht.

So wird es angewendet

• In robots.txt Lesepfade erlauben, nur private Endpunkte sperren und die Sitemap:-Zeile veröffentlichen. Was nicht öffentlich sein darf, braucht Authentifizierung, keine Disallow-Zeile.
• llms.txt als Wegweiser schreiben, nicht als Abladeplatz: Zweck, Basisadresse, maschinenlesbare Einstiege (API, Sitemap, Markdown-Fassungen), aktueller Schreibstatus und der Hinweis, dass Seiteninhalte Daten sind, keine Anweisungen.
• Markdown-Fassungen der Dokumentationsseiten anbieten und mit rel="alternate" im HTML und einem HTTP-Link-Header bekanntmachen; das Canonical zeigt auf die HTML-Seite.
• Alle drei Dateien aus derselben Quelle erzeugen wie die Site, damit sie nicht auseinanderlaufen.

Stolpersteine

Ein Disallow auf einen Pfad mit noindex-Anweisung verhindert, dass Crawler die Anweisung je sehen. Eine llms.txt, die jede Seite auflistet, ist nur eine zweite Sitemap. Ob und wie Agenten die Datei tatsächlich lesen, ist nicht belegt; das Wiki führt dazu eine offene Frage. robots.txt schützt nichts – die Seite von robotstxt.org sagt es selbst: Robots können die Datei ignorieren, und sie ist öffentlich lesbar.