Acht besonders perfide Statistik-Lügen der Digital-Industrie, die Sie kennen sollten

Egal, ob es um die KPIs der Marketing-Abteilung, um das Marktpotenzial eines Produktes oder um die eigene Leistung im Unternehmen geht - nichts wirkt so überzeugend wie eine Statistik. Mit einer einzigen wohl platzierten Zahl lässt sich jede Diskussion gewinnen. Statistiken sind präzise, sachlich, nüchtern und genau. Wer mit Zahlen argumentiert, hat recht. Er will nicht einfach nur seine Meinung durchbringen, sondern hat sich mit der Sache beschäftigt. Motto: Je mehr Stellen hinterm Komma, desto genauer.

Dabei ist es mit der Statistik so eine Sache. Jeden Tag haben wir damit zu tun, lassen uns überzeugen - und wissen meistens doch nicht viel mehr als vorher. Dabei geht vielleicht die geringste Gefahr davon aus, einer wirklich gefälschten Statistik aufzusitzen. Viel größer ist das Risiko, dass sie ergebnisorientiert angelegt ist, Interpretationsspielraum genutzt wird oder methodisch ungenau durchgeführt wurde.

Wir lieben Statistiken, weil sie klare und einfache Antworten geben. Vermeintlich. Denn natürlich steckt hinter jeder Prozentangabe noch die gesamte Komplexität der ursprünglichen Fragestellung. Man sieht sie nur nicht mehr. Das macht Statistiken gefährlich. Hinter der schönen Zahl, die am Ende der Präsentation das Ergebnis beweist, verstecken sich viele unsichtbare Einflussfaktoren.

Und glauben Sie nicht, dass Statistik unemotional sei. "99,5 Prozent Ausfallsicherheit" klingt nach Abrahams Schoß - heißt aber nichts anderes, als dass der Webserver pro Jahr beinahe zwei Tage lang nicht funktionieren wird. Und das mit hoher Sicherheit.

Die wichtigsten Fakten über Statistiken:

1. Warum Blitze gefährlicher als der Straßenverkehr sind

Um zu veranschaulichen, wie gering eine Gefahr ist, wird gerne der Blitz genommen. Der Spruch: "Eher wirst du noch vom Blitz erschlagen" ist schon beinahe ein geflügeltes Wort. Und tatsächlich: Bei jährlich durchschnittlich 4,5 Todesopfern und einer Bevölkerung von 82 Millionen Menschen in Deutschland liegt die Wahrscheinlichkeit an einem Blitzschlag zu sterben bei 1:18 Millionen. Vernachlässigbar.

Aber stimmt das auch? Natürlich nicht. Die Zahl sagt nichts aus. Schon alleine, weil die Fallzahl der Blitztoten so gering ist, dass ein beliebiges Einzelereignis enormes Gewicht erhält. Außerdem ergibt es keinen Sinn, auf die Gesamtbevölkerung hochzurechnen. Kleinkinder, Babys und Greise sterben so gut wie nie an einem Blitz. Wie auch? Sie sind im Haus, wenn es donnert.

Entscheidend ist am Ende allein das Verhalten des Individuums. Das Risiko mag minimal sein, aber die Gefahr ist groß. Den Unterschied zwischen beidem bemerkt spätestens, wer in den Bergen in ein Gewitter gerät. Zucken rechts und links die Blitze, ist die Bedrohung plötzlich sehr real und gar nicht mehr klein.

Am Ende zeigt sich: Bezogen auf die Zeit, die Menschen einer tatsächlichen Blitzschlaggefahr ausgesetzt sind, ist ein Gewitter vielleicht sogar gefährlicher als die Teilnahme am Straßenverkehr. Nur begeben sich die meisten Menschen eben nur sehr selten in diese Gefahr.

Merke: Wenn viele Menschen eine bestimmte Tätigkeit meiden, gibt es natürlich wenig Ereignisse. Das heißt aber eben gerade nicht, dass dieses Ereignis nur mit einer geringen Wahrscheinlichkeit eintreten würde. Gerade bei niedrigen Fallzahlen ist das Einzelverhalten entscheidend.

Eine Marketingmaßnahme kann unter Umständen sehr wirksam sein, selbst wenn die Conversion auf den ersten Blick minimal ist. Die Maßnahme hat vielleicht nur die falsche Zielgruppe erreicht. In der richtigen schlägt sie dagegen ein wie - der Blitz.

2. Wahrheiten, die sich selbst beweisen

Der Fehler kann aber auch umgekehrt auftreten. Beispiel: Der Hersteller einer Shop-Software betreibt Marktforschung. Er stellt dabei fest, dass seine Kunden besonders kräftiges Wachstum erzielen, wenn sie ihre Ware auch im Ausland anbieten und publiziert diese Ergebnisse freudig. Ähnlich ergeht es dem Anbieter einer Marketing-Software: Mittels einer Kundenumfrage kann er stolz belegen, wie seine Kunden von der Software profitieren.

Leider haben beide Umfragen eine Haken: Der Kreis der Befragten ist vorselektiert. Denn: Zufällig ist Internationalisierung eine besondere Stärke der ECommerce-Software. Unbemerkt hat der Hersteller daher nur solche Händler befragt, die ein besonders großes Potenzial im grenzüberschreitenden Handel gesehen haben und eine dafür geeignete Software suchten.

Und auch beim Anbieter der Marketing-Suite ist das Ergebnis mit Vorsicht zu genießen: Denn selbstverständlich haben nur solche Kunden die Lösung installiert, die sich einen Vorteil davon versprechen. Schon dadurch ist die Umfrage nicht mehr auf jedermann übertragbar. Aber mehr noch: Vielleicht haben sich sogar 30 Prozent aller Kunden wieder enttäuscht von dem Produkt abgewandt, weil die Suite unterm Strich nur Kosten verursachte. Nur: Die Ex-Kunden werden gar nicht befragt.

Merke: Mit der passenden Grundgesamtheit lässt sich fast alles beweisen. In seriösen Studien wird daher immer genau angegeben, wer befragt wurde. Allgemeingültige Aussagen lassen sich nur treffen, wenn eine repräsentative Grundgesamtheit zugrunde liegt. Aber selbst dann gibt es noch genug Möglichkeiten, die Ergebnisse zu beeinflussen, wie der folgende Punkt zeigt.

3. Das Wie und Wo entscheidet

Zeit und Ort der Befragung spielen ebenfalls eine große Rolle: Eine Umfrage, die mittags in der Fußgängerzone durchgeführt wird, klammert berufstätige Menschen automatisch aus. Genauso wird eine telefonische Befragung über das Freizeitverhalten, die an einem Samstagabend durchgeführt wird, erstaunlich viele Couch-Potatoes erreichen.

Merke: Es gibt zahlreiche Möglichkeiten, eine Untersuchung - auch versehentlich - zu beeinflussen: Messen Sie beispielsweise den Erfolg einer Retargeting-Kampagne, wird sie schon deswegen erfolgreicher erscheinen, weil Sie nur Konsumenten auswählen, die Ihren Shop bereits besucht haben. Davon wollten viele vielleicht sowieso einkaufen. Werbekampagnen in der Weihnachtszeit sind besonders erfolgreich? Vielleicht liegt es gar nicht an der Kampagne, sondern einfach an der Tatsache, dass Weihnachten generell viel eingekauft wird.

4. Der scheinbare schlüssige Vergleich

In einer fiktiven Studie wird das Sterbealter nach Berufsgruppen und Todesursache untersucht. Das überraschende Ergebnis: Ausgerechnet Piloten und Online-Marketer sterben jung und besonders häufig an Autounfällen. Lehrer und Ärzte werden dagegen sehr viel älter. Woran liegt's? Haben Online-Marketer zu viel Stress? Sind ausgerechnet Piloten besonders risikofreudige Autofahrer?

Die Ursache ist eine völlig andere: Online-Marketing ist ein junges Berufsbild, Airlines sind in den vergangenen Jahren stark gewachsen. Aus diesen Gründen ist das Durchschnittsalter in beiden Berufsgruppen niedriger als bei Ärzten und Lehrern. Angenommen in allen betrachteten Gruppen würden anteilmäßig gleich viele Menschen bei Unglücksfällen ums Leben kommen, dann führt das zu diesem Effekt: Da bei Piloten und Online-Marketern die älteren Personen fehlen, erscheint die Unglücksursache Unfall häufiger und das durchschnittliche Todesalter ist niedriger. Bei Ärzten und Lehrern gibt es genauso viele Verkehrstote, aber altersbedingt eben auch mehr andere Todesursachen. Statistisch betrachtet sterben letztere also in einem höheren Alter und der Anteil an Unfallopfern ist geringer.

Merke:
Wenn iPhone-Nutzer mehr Daten verbrauchen, höhere Warenkörbe oder mehr Sex haben als Android-User, liegt das an allem möglichen - aber nicht am Handy. Natürlich lassen sich die so gewonnenen Daten trotzdem fürs Marketing heranziehen. Piloten und Online-Marketer werden am Ende vielleicht tatsächlich mehr Unfallversicherungen kaufen als Ärzte und Lehrer.

Noch besser wäre es aber, die wahren Zusammenhänge zu verstehen. Die richtige Zielgruppe für Unfallversicherungen sind junge Leute und Selbstständige. Und die interessanteste Zielgruppe wären demzufolge junge niedergelassene Ärzte.

5. Präzise, aber ungenau: Die Tücke mit der Wahrscheinlichkeit

Viele Metriken gaukeln eine enorm hohe Genauigkeit vor, ohne diese zu halten. Folgendes Beispiel: Sie wollen Motorradzubehör verkaufen und suchen eine Werbemöglichkeit für Ihren Shop.

In Zeiten von Targeting und Programmatic Buying kein Problem: Der Vermarkter eines trafficstarken Portals erklärt, dass zwar nur jeder 1.000ste Besucher Motorradfahrer sei, er diese aber mit einer Zuverlässigkeit von 99 Prozent erkennen könne. Nur einen von 100 klassifiziert er fälschlicherweise als Biker. Alle anderen sind 100%ig sicher wirklich echte Motorradfahrer.

Klingt gut - bei einer so hohen Genauigkeit sollte nichts schief gehen können. Trotzdem sind die Ergebnisse der Kampagne ernüchternd. Kaum einer klickt die Produkte. Woran liegt's?

Die Leistung der Targeting-Maschine ist zwar beeindruckend, sie reicht aber bei weitem noch nicht aus. Einer von 1.000 Besuchern ist tatsächlich Motorradpilot. Unter 100.000 Besuchern identifiziert die Maschine also komplett korrekt 100 Kradfahrer. Es verbleiben 99.900 Besucher. Auch hier werden die meisten von der Targeting-Maschine richtig erkannt, nur bei einem Prozent schlägt sie falsch an. Ergibt 999 False-Positives. Insgesamt werden dem Marketer 1.099 Kontakte vermittelt - von denen aber nur 100 zur Zielgruppe gehören!

Anders gesagt: Trotz irrwitzigem Technikeinsatz liegt die Wahrscheinlichkeit, einen Motorradfahrer zu erwischen, bei gerade einmal neun Prozent. Für eine erfolgreiche Kampagne viel zu wenig.

Merke: Das Bauchgefühl kann extrem täuschen, wenn es um Statistik geht. Relative Zahlen und Prozentangaben klingen ganz anders als die absoluten Zahlen. Der Zubehörhändler hätte besser in einem einschlägigen Motorradportal eine Umfeldbuchung vorgenommen.

6. Ergebnisorientierte Fragen, verkürzte Schlagzeilen

Kaum jemand hat Zeit, eine Umfrage gründlich zu prüfen. Schlagzeilen müssen kurz und prägnant sein. Heraus kommen Titel wie: "88 Prozent der Deutschen sagen 'Nein' zu Rindfleisch". Wer würde schon vermuten, dass dahinter diese Frage steckt: "Können Sie sich vorstellen, aufgrund der zahlreichen Fleischskandale, der Gefährdung durch BSE und dem vermehrten Auftreten von Fleischparasiten wie Fadenwürmern in Zukunft häufiger auf Rindfleisch zu verzichten?".

Überhaupt: 'Vorstellen' - ein Klassiker. "Können Sie sich vorstellen, ein schnelles Auto zu fahren?" Aber ja doch, kann man sich prima vorstellen. Auch weniger zu arbeiten, mehr Zeit mit Familie und Freunden zu verbringen, etwas für die Umwelt zu tun oder in Zukunft mehr Sport zu treiben, kann sich beinahe jeder gut vorstellen. Mit etwas Phantasie reicht es sogar noch für Mobile Payment oder den Online-Lebensmitteleinkauf. Die Frage ist aber, ob auch etwas daraus wird.

Merke: Mit einer suggestiven Frage und der entsprechend verkürzten Überschrift stehen Drohnenlieferung, Smart Home und Mobile Wallet immer kurz vor dem Durchbruch. In den wenigsten Umfragen wird aber der genaue Wortlaut der Frage veröffentlicht, obwohl dieser ganz entscheidend sein kann.

7. Auch schwache Leistungen haben Potenzial

Und dann gibt es natürlich noch die richtig miesen Statistiktricks. Geben die Zahlen nicht genau das her, was Sie beweisen wollen? Versuchen Sie es mit kreativen Interpretationen!

97,5 Prozent der Befragten haben noch nie im Supermarkt mit dem Handy bezahlt? Und das obwohl Sie Hersteller einer entsprechenden Lösung sind? Machen Sie eine gute Nachricht daraus: Das Marktpotenzial von Handy-Payment ist riesig! Denn: 51 Prozent der Mobile-Payment-Verweigerer (und damit insgesamt eine Minderheit) können sich "vorstellen", es einmal auszuprobieren.

Ein bisschen Politur frischt auch blasse Zahlen auf: Angenommen Sie haben es verpennt, sich rechtzeitig um die Keywordlisten Ihres Unternehmens zu kümmern und der Suchtraffic ist dadurch von 30.000 auf 20.000 Klicks eingebrochen. Trotz aller Mühe haben Sie anschließend nur noch 28.000 Klicks erhalten. Klingt irgendwie nicht so gut.

Versuchen Sie es mit folgender Darstellung: "Im Januar ist der Traffic um 33 Prozent gesunken, im Februar konnten wir aber ein Plus von 40 Prozent erzielen." Plötzlich klingt Ihre Schwachleistung wie ein 7-Prozent-Erfolg, den Sie unbedingt mit einem schönen Balkendiagramm visualisieren sollten.

Merke: Steht der zu vergleichende KPI nicht im Vorfeld genau fest, lässt sich fast immer einer finden, der irgendwie positiv aussieht. Und notfalls muss es eben eine Ableitung von einer Ableitung tun.

8. Interpretationsspielräume geschickt nutzen

Eine andere Möglichkeit besteht darin, Zahlen gezielt zusammenzufassen. Ein schönes Beispiel lieferte dafür kürzlich der Branchenverband Bitkom  : Unter der Überschrift "Autonome Autos bringen besseren Verkehrsfluss und mehr Sicherheit" veröffentlichten die IT-Lobbyisten eine Umfrage mit folgendem zentralen Ergebnis: "Zwei Drittel sehen Vorteile von selbstfahrenden Fahrzeugen".

Tatsächlich wurde in der Studie jedoch eine ganze Liste von Vor- und Nachteilen genannt und abgefragt, ob die Probanden jeweils zustimmen. Die Ergebnisse:

Vorteile:

• 44 Prozent erwarten einen besseren Verkehrsfluss
  
• 40 Prozent einen geringeren Verbrauch
  
• 34 Prozent mehr Sicherheit für alle Verkehrsteilnehmer
  
• 27 Prozent einen besseren Schutz der Insassen.

Nachteile:

• 63 Prozent haben Angst vor technischen Problemen
  
• 61 Prozent sorgen sich, dass ein solches Fahrzeug gehackt werden könnte
  
• 52 Prozent haben Bedenken, dass persönliche Fahrzeugdaten wie Wegstrecken von Dritten ohne ihr Wissen genutzt werden könnten.
  
• 30 Prozent trauen der Technik in Gefahrensituationen weniger zu als dem Menschen
  
• 24 Prozent haben generell wenig Vertrauen in Technik.

Genau genommen legen die Studienergebnisse also nahe, dass in der Bevölkerung die Skepsis überwiegt. Trotzdem wurde die Meldung mit der positiven Deutung veröffentlicht, derzufolge zwei Drittel der Befragten "Vorteile" sehen. Schon diese Interpretation ist fragwürdig. Sie kann nur zustande kommen, wenn alle Personen ausgezählt werden, die irgendeinen Vorteil angekreuzt haben. Das bedeutet: Selbst wenn bei allen Befragten die Sorgen vor der neuen Technik überwiegen würden, würde die Studie immer noch eine positive Resonanz erkennen, solange einige auch nur einen einzigen Vorteil sähen. Ein eigenartiges Vorgehen.

Noch mehr verwundert die Interpretation aber, als die Autoren an anderer Stelle selbst einräumen, dass lediglich elf Prozent der Befragten "keinerlei Nachteile" sahen. Bedeutet: 89 Prozent der Befragten kreuzten Nachteile an, aber nur 66 Prozent setzten bei den Vorteilen ein Häkchen.

Völlig unbeeindruckt von den eigenen Ergebnissen, veröffentlichte der Verband die Studie als Beleg für die hohe Akzeptanz autonomer Automobile.

Merke: Mit Statistik lässt sich fast alles beweisen, man muss sich nur die richtigen Zahlen zusammenklauben.