Crawler wissen mehr über unsere Websites als wir selbst. Was die Crawler erfahren, speisen Suchmaschinen-Algorithmen, die bestimmen, welchen Platz eine Website im Ranking einnimmt. Dies betrifft Klicks, Konversionrate, Warenkorb-Größe und Marken-Loyalität. Das ist eine enorme Leistung.

Diese Fähigkeiten der Web-Crawler können wir aufgreifen und für uns arbeiten lassen. Zum Beispiel können wir in wenigen Minuten die 20 Prozent Performance-Probleme unserer Web-Seite ermitteln, die, wenn sie professionell gelöst wurde, uns 80 Prozent Performance-Gewinne einbringen.

Crawler erkennen jede Schwäche

Suchmaschinen-Crawler kennzeichnen Seiten-Wartezeit als Schwachstelle. Manchmal werden langsam ladende Seiten sogar ausgesetzt. Oder sie laufen aufgrund schlechter Seiten-Konfiguration wirkungslos zusammen, indem sie sich auf einige Seiten fokussieren und andere gänzlich überspringen.
Dies stellt für große E-Commerce-Sites mit umfangreichem, dynamischen Inhalt eine besondere Herausforderung dar. Gemeint sind sehr komplexe Web-Seiten, oft mit individualisiertem Inhalt, die große Objekt-Bibliotheken erforderlich machen.

Die Crawler leiten ihre Ergebnisse an Suchmaschinen weiter, die durch das Generieren der Web-Seiten Rankings langsame und schlecht indizierte Web-Seiten durch suboptimale Platzierungen benachteiligen.

Die Optimierung der Struktur und der Geschwindigkeit von Web-Seiten hilft sicherzustellen, dass diese Website nicht auf der dritten, vierten oder fünften Seite von Suchergebnissen begraben ist. Da die meisten Internet-Shopper nicht weiter als bis Seite eins klicken, zahlt es sich buchstäblich aus, genau zu wissen, wie gut die eigene Website eingeteilt ist und was sie so langsam macht.

Kurz gesagt: um mit SEO Erfolg zu haben, müssen wir genau wissen, was die Crawler sehen.

Weshalb Google Analytics und der Einsatz von herkömmlichen Content Delivery Networks unzureichend sind

Separate Suchmaschinen bedeuten auch separate Analytik. Google Analytics sagt uns nichts über Bing - und Yahoo nichts über Google. Die genaue Prüfung nur eines Crawler-Daten-Sets heißt, mit unvollständigen Informationen zu arbeiten.
Man könnte alle Suchmaschinen einzeln überprüfen, aber das ist Zeitverschwendung und man riskiert damit, wertvolle Cross-Engine-Zusammenhänge zu übersehen.

Der Einsatz von Content Delivery Network (CDN) zur Beschleunigung einer Web-Seite kann Informationen über mehrere Crawler liefern. Ein herkömmliches CDN könnte den Seiten-Inhalt soweit zusammenfassen, dass man am Ende mit einer "Black Box" dasteht und die Sichtbarkeit der Details verloren geht, die für die Verbesserung der eigenen SEO-Performance entscheidend sind.

Was also ist zu tun?

1. Analysieren Sie
   Fassen Sie die Analytik zusammen, indem Sie Ihr CDN als "Beobachtungstool" benutzen. Ein für die heutigen E-Commerce Herausforderungen gut aufgestelltes CDN hält das Sammeln und Analysieren der Web-Crawler Aktivität im Gleichgewicht, weil es alle HTTP-Anfragen nach Site-Informationen überwacht. Wenn Sie bereits einen globalen Überwachungskanal haben, ist es einfach, Daten für alle Crawler-Anfragen von Google   , Bing   , Yahoo  und anderen zusammenzufassen, zu analysieren und darüber zu berichten.
   
   Diese direkte Herangehensweise, SEO Analytik in Ihrem CDN einzubinden, vermittelt sofortige, detaillierte Einblicke. Dazu gehört z.B. die Analyse, welche Objekte die langsamsten Ladezeiten haben. Damit sind Website Performance-Probleme schnell zu bestimmen und Suchmaschinen-Rankings können erhöht werden.
   
   
2. Wer erst einmal die Crawler-Geheimnisse kennt...kann seine E-Commerce-Seite mit den Daten, die durch CDN-integrierte SEO Analytik verfügbar sind, optimieren. Außerdem entwickeln sich Suchmaschinen-Algorithmen mit der Zeit weiter, so dass das Moving-Target des SEO alle konsumieren könnte. Glücklicherweise greift in einem solchen Fall immer die 80 zu 20-Regel.
   
   Zwanzig Prozent aller Problem-Seiten oder -Objekte verursachen achtzig Prozent der Seiten-Performance-Probleme. Und genau da muss man die Bemühungen um eine Suchmaschinenoptimierung fokussieren.
   
   Zu beobachten sind insbesondere die Schlüssel-Punkte der Crawler-Daten:
   
   • wiederholte Anfrage nach derselben Seite/ desselben Objekts
     
   • Gesamtzahl der Seiten/ Objekte, die von einem Crawler geprüft werden
     
   • Anzahl der Seiten/ Objekte, die Error Codes zurücksenden
     
   • Objekte mit überzogenen Lieferzeiten
   
   
   Mit Einführung von Performance-Grenzwerten für diese Schlüssel-Elemente können Sie Performance-Probleme schnell genau erkennen. An Hand detaillierter, nachvollziehbarer Einblicke kann dann die Web-Seite für ein besseres SEO-Ranking mit relativ geringem Aufwand und Budget optimiert werden.
   
   
3. SEO-Analytik für Wettbewerbsvorteile
   ECommerce Shops, die die Leistungen von Web-Crawlern anzapfen, können ihre Site-Performance verbessern, größere Erlöse aus SEO-Investitionen erzielen und so Vorteile gegenüber Mitbewerbern erlangen.
   Die größten Nutznießer könnten kleine Shop-Betreiber sein, die sich keine Pay-per-click-Aktionen leisten können. Für sie kann eine sachkundige SEO-Strategie mit den richtigen Tools und entsprechender Analytik Chancengleichheit mit zahlungskräftigeren Rivalen herstellen.
   
   Die SEO Analytik aus dem CDN-System wird also zu einer besseren SEO für eine höhere Platzierung bei organischen Suchergebnissen verhelfen und zu mehr Klicks und Konversionen führen. Darüber hinaus wird eine höhere Seiten-Geschwindigkeit die User-Experience verbessern sowie Marken-Loyalität und Umsatzmöglichkeiten verbessern.
   
   Die Hintergründe, die sie verraten, das ist die Leistung hinter den Web-Crawlern. Man sollte also das CDN entsprechend nutzen.

---

Gastautor Thorsten Deutrich ist studierter Volkswirt und begann seine Karriere bei Siemens. Nach verschiedenen Tätigkeiten in der Internet - und Telekommunikationsbranche, wie beispielsweise als Niederlassungsleiter bei der Telefónica Deutschland GmbH und Sales Director bei DNS:NET Internet Service GmbH, stieß er schließlich als General Manager für die DACH Region zu Cotendo   ,