Sitemaps und kanonische Adressen: ein Inhalt, eine Adresse

Worum es geht

Eine kanonische Adresse ist die Adresse, die eine Site unter mehreren Duplikaten als bevorzugt erklärt. RFC 6596 definiert dafür die Link-Relation canonical: Das Ziel muss Inhalt bezeichnen, der mit dem verweisenden Dokument identisch ist oder ihn umfasst. Ausgedrückt wird sie mit <link rel="canonical" href="…"> im HTML oder mit einem HTTP-Header Link: <…>; rel="canonical" für Nicht-HTML-Dokumente. Die Google-Dokumentation zur Zusammenführung doppelter Adressen stuft Weiterleitungen und rel="canonical"-Angaben als starke Signale ein, die Aufnahme in eine Sitemap als schwaches Signal, hält fest, dass sich die Methoden verstärken, wenn sie kombiniert werden, und empfiehlt absolute statt relative Adressen im Link-Element – sonst wird beim versehentlichen Crawlen einer Testsite deren Adresse kanonisch.

Die Sitemap ergänzt das. Das Protokoll von sitemaps.org beschreibt eine XML-Datei mit einem <url>-Eintrag je Adresse, darin <loc> (Pflicht) sowie optional <lastmod>, <changefreq> und <priority>; eine Datei darf höchstens 50 000 Adressen enthalten und unkomprimiert 50 MB gross sein, grössere Sites verteilen auf mehrere Dateien und verweisen mit einer Sitemap-Index-Datei darauf.

Warum es wichtig ist

Derselbe Text unter mehreren Adressen (mit und ohne www, HTTP und HTTPS, Tracking-Parameter, JSON- und Markdown-Zwillinge) verteilt Signale und verschwendet Crawl-Budget; Suchmaschinen wählen dann selbst eine kanonische Adresse, nicht unbedingt die gewünschte. Agenten, die eine Site programmatisch lesen, brauchen dieselbe Antwort: Welche Adresse ist die Referenz, und was hat sich seit dem letzten Besuch geändert.

So wird es angewendet

• Ein Host, HTTPS, alle Varianten dauerhaft weiterleiten, Pfad und Query erhalten.
• Auf jeder indexierbaren HTML-Seite ein selbstverweisendes Canonical, absolut und mit HTTPS.
• Volltext-Zwillinge ohne HTML tragen einen Link-Header auf die HTML-Seite; Teilansichten (Suchergebnisse, Ausschnitte) werden noindex statt kanonisiert.
• Seiten mit Pagination und Filtern erhalten nur dann ein eigenes Canonical, wenn ihr Inhalt eigenständig und endlich ist; sonst noindex.
• Die Sitemap aus der Datenbank erzeugen, mit echten Änderungszeiten; Suchergebnisse, Duplikate und versteckte Inhalte auslassen; den Ort in robots.txt nennen.

Stolpersteine

Ein Canonical, das auf eine weiterleitende oder fehlende Adresse zeigt. Verschiedene Canonicals auf der HTTP- und der HTTPS-Fassung. Canonicals auf einen Staging-Host. Erfundene oder bei jedem Build neu gesetzte lastmod-Werte: Ein Datum ohne Bezug zur Inhaltsänderung sagt nichts aus. Der Versuch, Duplikate per robots.txt zu verstecken – dann wird das Canonical nie gelesen.