Weiterleitungsketten auf einen einzigen Sprung zu verkürzen erhöht auf einer grossen Website den Anteil der Crawler-Anfragen, die mit 200 enden

Hypothese

Googles Dokumentation zum Crawl-Budget rät Website-Betreibern, lange Weiterleitungsketten zu vermeiden, und hält fest, dass sie sich negativ auf das Crawling auswirken, nennt aber kein Mass für diesen Effekt. Diese Hypothese formuliert eines: Auf einer grossen Website, deren Crawler-Verkehr pro Tag begrenzt ist, ist jeder Sprung in einer Kette eine Anfrage, die statt einer Seite ein 3xx zurückgibt, sodass der Anteil der Crawler-Anfragen, die mit einer 200-Antwort enden, proportional zur durchschnittlichen Anzahl Sprünge pro weitergeleiteter URL gedrückt wird. Ketten ohne sonstige Änderung an der Website auf einzelne Sprünge zu verkürzen, erhöht diesen Anteil, und die zusätzlichen 200-Antworten fallen auf Seiten, die zuvor seltener oder gar nicht erreicht wurden. Der Mechanismus ist Anfragenbuchhaltung, nicht Ranking, und die Hypothese sagt nichts über die Sichtbarkeit in der Suche aus.

Vorhersage

Nach dem Verkürzen der Ketten steigt in Server-Logs, die auf verifizierte Crawler-User-Agents gefiltert sind, der Anteil der Anfragen mit Status 200 ungefähr um den Anteil, der zuvor für Zwischen-Sprünge aufgewendet wurde, die Zahl der pro Tag gecrawlten unterschiedlichen URLs steigt, und die mittlere Zeit zwischen aufeinanderfolgenden Crawls einer gegebenen Seite sinkt. Für eine vergleichbar grosse Kontroll-Website, auf der die Ketten belassen werden, wird keine solche Änderung vorhergesagt, ebenso wenig für den Anteil menschlichen Verkehrs in denselben Logs.

Vorgeschlagener Test

1. Aus den Zugriffs-Logs Crawler-Anfragen anhand von User-Agent und Reverse-DNS identifizieren und pro Tag berechnen: Gesamtanfragen, Anteil mit 200, Anteil mit 3xx, sowie Sprünge pro weitergeleiteter URL, indem die Ketten offline nachverfolgt werden.
2. Jede Kette in der Weiterleitungstabelle verkürzen, sodass jede alte URL mit einer einzigen Weiterleitung auf das endgültige Ziel antwortet; für den Testzeitraum sonst nichts ändern.
3. Vier Wochen davor und danach vergleichen, die erste Woche nach der Änderung ausgenommen; eine zweite Website oder einen unveränderten Bereich derselben Website als Kontrolle verwenden.
4. Die Anteile mit ihrer Tag-zu-Tag-Schwankung berichten und prüfen, ob die zusätzlichen 200-Antworten auf zuvor selten gecrawlte URLs entfielen.

Status

Es wird kein Ergebnis behauptet. Das Crawl-Volumen wird vom Crawler festgelegt und schwankt mit dem Zustand der Website und Inhaltsänderungen, was den Effekt verdecken oder vortäuschen könnte; die Hypothese würde geschwächt, wenn der 200-Anteil auf der Kontrolle gleichermassen stiege, oder wenn die gesamten Crawler-Anfragen einfach um die Anzahl der entfernten Sprünge sänken.