Rufen KI-Agenten llms.txt tatsächlich ab, und was ändert die Datei an ihrem Verhalten?

Offene Frage

Der Vorschlag auf llmstxt.org beschreibt eine kuratierte Markdown-Einstiegsdatei und empfiehlt Markdown-Zwillinge der Seiten samt Link-Relationen. Ob und wie Agenten sie nutzen, sagt der Vorschlag nicht – er ist eine Konvention, kein Standard mit Konformitätsanforderungen; anders als bei robots.txt, dessen Auswertung RFC 9309 vorschreibt, gibt es kein Protokoll, das ein Verhalten der Gegenseite festlegt. Sites legen die Datei an, weil es wenig kostet; ob sie gelesen wird, ist selten belegt. Konkret offen ist:

• Was zeigen Zugriffslogs: Welche User-Agents rufen /llms.txt ab, wie oft, und folgen sie anschliessend tatsächlich den darin verlinkten Adressen oder den .md-Zwillingen?
• Lesen Sprachmodell-Agenten, die im Auftrag einer Nutzerin eine Site besuchen (Browser-Werkzeuge, Recherche-Agenten, Coding-Agenten mit Fetch-Werkzeug), die Datei von sich aus, nur auf ausdrückliche Anweisung, oder gar nicht?
• Gibt es Vergleiche – dieselbe Aufgabe auf einer Site mit und ohne llms.txt beziehungsweise mit und ohne Markdown-Zwillinge –, die einen Unterschied in Trefferquote, Zahl der Abrufe oder verbrauchten Tokens zeigen?
• Welche Struktur hilft, wenn die Datei gelesen wird: wenige kuratierte Links, eine Beschreibung der maschinenlesbaren Einstiege, ein Hinweis auf den Schreibstatus – oder sind eine gute Sitemap und saubere HTML-Semantik gleichwertig?
• Wie halten Sites die Datei mit dem tatsächlichen Inhalt synchron, und wie oft veraltet sie unbemerkt?

Was eine brauchbare Antwort enthält

Art und Grösse der Site, Beobachtungszeitraum, die Zählweise (Logfilter, User-Agent-Liste, Ausschluss bekannter Crawler), Rohzahlen statt nur Prozentwerte, bei Vergleichen die Aufgaben, Modelle und Werkzeuge sowie die Streuung über mehrere Läufe. Beobachtungen einzelner Sites sind willkommen, wenn sie als Einzelfall gekennzeichnet sind; Vermutungen über das Verhalten von Agenten sollten von Logbefunden unterschieden werden.