Niemals ohne technische Suchmaschinenoptimierung!

Vor allem für grosse Websites ist dies von existenzieller Bedeutung

Grosse und internationale Websites stehen bei der Suchmaschinenoptimierung vor einer ganz besonderen Herausforderung: Ihre vielschichtigen Sprach- und Länder-Informationen erfordern klare Handlungsanweisungen für die Indexierung durch die Suchmaschinen. Ohne diese Anweisungen treten Probleme auf, die sich mit zunehmendem Umfang der Website potenzieren und zu einer existenziellen Bedrohung der organischen Sichtbarkeit der Website in den Suchmaschinen werden. Diese Bedrohung kann vermieden werden.

 

Die BTC Europe ist die europäische Vertriebsgesellschaft der BASF SE für den Vertrieb von Spezialchemikalien. Die Website www.btc-europe.com gehört eindeutig zur Kategorie “grosse und internationale Website”. Sie ist in 7 verschiedenen Sprach- und 40 verschiedenen Länderversionen verfügbar. Es ist unsere Aufgabe, die Sichtbarkeit der Website in den richtigen Landessprachen in den Suchmaschinen der jeweiligen Absatzmärkte zu steigern und so die Anzahl an Website-Besuchern und Neukunden zu erhöhen. Vor allem gilt es die deutlich voneinander abweichenden Sichtbarkeiten in verschiedenen Länder-Suchmaschinen nach oben anzugleichen.

Eine unterschätzte Bedrohung: Duplicate Content

Beim technischen SEO-Audit hat dotpulse ein ernstzunehmendes Problem mit Duplicate Content festgestellt. Wenn derselbe Inhalt über verschiedene URLs erreichbar ist, sprechen die Suchmaschinen von Duplicate Content. Gründe können ganz vielfältiger Natur sein: URL-Parametrisierung, facettierte Navigation, verschiedene Klickpfade zu einer Page, Nutzung mehrerer Protokolle oder Subdomains, Sprach- und Länderverzeichnisse und viele mehr. Die Nutzung der aufgezählten Mittel ist grundsätzlich normal, gewollt und aus anderer Perspektive sinnvoll.

Aus der Suchmaschinenperspektive ergibt sich jedoch jede Menge Duplicate Content, der zu einer ernstzunehmenden Bedrohung für die Sichtbarkeit einer Website werden kann. Suchmaschinen behandeln prinzipiell sämtliche URLs als eigenständige Pages, auch wenn deren Inhalt identisch ist. Bei der Website www.btc-europe.com sind die zahlreichen durch den Besucher wählbaren Sprach-Land-Kombinationen und die Verwendung etlicher URL-Parameter die hauptsächlichen Ursachen für Duplicate Content.

 

Die Konsequenzen

Suchmaschinen-Bots nehmen grundsätzlich alle Pages in ihren Index auf (Indexing), auf welche sie zugreifen können. Nur durch eine explizite Anweisung gegen die Indexierung von bestimmten Pages lässt sich das vermeiden.

Selbst die Suchmaschinenriesen verfügen über begrenzte Ressourcen. Darum wird jeder Website ein bestimmtes individuelles Limit für das Crawling und die Indexierung von Pages zugewiesen. Verfügt eine Website über eine Vielzahl an Duplikaten, ist es möglich, dass das Crawl-Limit durch die Duplikate ausgeschöpft ist, bevor die zentralen und wichtigen Pages verarbeitet werden konnten. Das Resultat: Die verbleibenden Pages erscheinen nicht im Index und werden nicht in den Suchmaschinenresultaten ausgespielt!

Der Impact des Duplicate Contents ist nicht zu unterschätzen, wie das Beispiel unseres Kunden BTC Europe zeigt:

  • Die Website www.btc-europe.com verfügt über insgesamt ca. 60 000 Pages, welche sich aus der Unternehmensperspektive im Suchmaschinenindex befinden sollten.
  • Aufgrund der verschiedenen technischen Ursachen wird Duplicate Content erzeugt, der die Website allerdings tatsächlich auf ca. 5,6 Mio. URLs aufbläst, welche allesamt durch Suchmaschinen verarbeitet werden.
  • Das Crawl-Limit liegt bei ca. 30 000 URLs, welche täglich durch Suchmaschinen verarbeitet werden können. (Abzulesen aus der Google Search Console)
  • Das individuelle Indexing-Limit bei knapp 70 000 URLs, welche insgesamt in den Suchmaschinenindex aufgenommen werden. (Ebenfalls abzulesen aus der Google Search Console)
  • Um die gesamte Website zu crawlen, würde Google folglich (bei ca. 30 000 URLs pro Tag) über ein halbes Jahr brauchen, um die 5,6 Mio. URLs zu verarbeiten. Dabei ist noch nicht berücksichtigt, dass viele URLs wiederholt gecrawlt werden.
  • Insgesamt ist im Index (mit dem Limit von ca. 70 000 URLs) eigentlich genug Platz für die 60 000 URLs, welche aus Unternehmenssicht indexiert sein sollten. Aufgrund fehlender Steuerung von Crawling und Indexing werden aber mehr oder weniger willkürlich 100 000 URLs der 5,6 Mio URLs durch die Suchmaschine ausgewählt. Das entspricht einem Anteil von etwas mehr als 1% aller vorhandenen URLs.
  • Ohne klare Anweisungen an Suchmaschinen-Bots ist die Wahrscheinlichkeit gering, dass sich alle wichtigen Pages unter den 1% der indexierten URLs befinden.

Die Google Search Console verschafft einen guten Eindruck über die zugewiesenen Crawling- und Indexing-Limiten:

Grafik: Von Google indexierte und pro Tag gecrawlte Pages auf www.btc-europe.com

btc-showcase-dotpulse.seo-indexing_google-search-console

Die Zurückgewinnung der Kontrolle

Zum Glück muss man sich diesem Geschehen nicht tatenlos hingeben.

Über Instrumente wie die Google Search Console, die robots.txt-File sowie Canonical- Robots- und Hreflang-Tags hat ein Website Betreiber direkten Einfluss auf das Crawling und die Indexing einer Website. Er kann sehr präzise steuern, welche Bereiche einer Website gecrawlt und welche indexiert werden sollen bzw. Seiten aus dem Index ausschliessen.

dotpulse hat für www.btc-europe nach eingehender Analyse ein solches Steuerungskonzept mit den oben genannten Instrumenten entwickelt und Ende 2016 mit der Implementierung entsprechender Optimierungsmassnahmen begonnen. Das Crawling wird nun durch den Ausschluss parametrisierter URLs und irrelevanter Sprach-Land-Verzeichnisse über die Google Search Console und die robots.txt auf die Website-Bereiche beschränkt, welche verarbeitet werden sollen. Mittels der Nutzung von XML-Sitemaps, Canonical- und Hreflang-Tags werden ausserdem konkrete Anweisungen gegeben, welche Pages in den Suchmaschinenindex aufgenommen werden sollen und welche nicht. Diese Kommunikation mit Suchmaschinen ist vom beiderseitigem Interesse, da so Ressourcen auf beiden Seiten effizient genutzt werden. Und das honorieren die Suchmaschinen. Alleine auf diese Weise konnte die Sichtbarkeit der Website www.btc-europe.com innerhalb von 3 Monaten mehr als verdoppelt werden.
Grafik: Sichtbarkeitsverlauf der Website www.btc-europe.com über Google.de

btc-showcase-dotpulse_searchmetrics
Die Learnings

Dieses Projekt zeigt, warum die technische Seite der Suchmaschinenoptimierung von enormer Bedeutung ist. Technische SEO ist ein Gatekeeper und sollte damit den ersten Schritt in einem Suchmaschinenoptimierungsprojekt darstellen. Hätte der Website-Betreiber ohne einen vorgängigen technischen SEO Audit und daraus resultierende Massnahmen viel Aufwand in die Überarbeitung von Texten gesteckt, wären die Mühen mit Sicherheit mehrheitlich versandet, da die Suchmaschinen ein Grossteil der wichtigsten Pages gar verarbeitet hätten.

Die technischen Optimierungsmassnahmen sind aktuell noch nicht vollständig abgeschlossen und es bleiben weitere positive Entwicklungen der organischen Sichtbarkeit und der Anzahl an Website-Besuchern zu erwarten. Anschliessend werden inhaltliche Massnahmen ergriffen, die dann zu ihrer vollen Entfaltung kommen können.

Notiz:
Unerwähnt blieben hier aufgrund des Themenfokuses weitere negative Folgen von Duplicate Content wie die Verwässerung von Linkwerten, der Eindruck minderwertiger Inhalte auf Suchmaschinen und die mangelnde Kontrolle über die rankenden Pages.