Sexistische Bots, rassistische KI: Wie Vorurteile Algorithmen verfälschen

2012 erlangte eine von Google   geschaffene künstliche Intelligenz einige Berühmtheit. Ein neuronales Netz - eine Art aus über 1.000 zusammengeschalteten Computern geschaffenes, künstliches Gehirn - hatte angefangen Katzenbilder zu sammeln, ohne dass ihm jemand beigebracht hatte, wie das geht oder befohlen hatte, das zu tun. Mit etwas Einsicht in die Funktionsweise eines neuronalen Netzes war das Phänomen schnell erklärt: Die Algorithmen hatten erkannt, dass alle Bilder etwas gemeinsam hatten: Sie zeigten Objekte, von denen der Supercomputer zwar nicht wusste, dass es Katzen sind, aber er erkannte, dass sie alle dasselbe Lebewesen sind - und legte sie korrekt allesamt in denselben Ordner ab. Es war ein perfektes Beispiel für die zunächst wundersam erscheinenden Leistungen, die künstliche Intelligenz heutzutage vollbringen kann.

Drei Jahre später führte eine künstliche Intelligenz aus dem Hause Google abermals zu einem unvorhergesehenen Ergebnis, das allerdings nicht als heitere Anekdote und Erfolgsgeschichte taugt: Ein ähnlicher Bilderkennungs-Algorithmus hatte irrtümlicherweise zwei Fotos schwarzer Menschen als Gorillas identifiziert und entsprechend kategorisiert. Und die Welt musste sich die Frage stellen: Sind künstliche Intelligenzen am Ende menschlicher als wir es wollen - sind Computer und Algorithmen ebenfalls rassistisch?

Die Erklärung für den Gorilla-Lapsus war auch schnell gefunden: Es handelte sich um einen sogenannten 'Bias by Data' - eine in den Daten, die dem Algorithmus zugrunde liegen, angesiedelte Voreingenommenheit der Maschine. Man hatte es versäumt, Googles Bildprogramm auch Fotos schwarzer Menschen als Lern- und Entscheidungsgrundlage zu geben. Und so entschied der ausschließlich mit Fotos hellhäutiger Homo Sapiens gefütterte Algorithmus, sobald er über ein vom Muster abweichendes Foto stolperte, es müsse sich um ein anderes Wesen mit schwarzer Epidermis handeln. Also entschied er auf Gorilla.

Damit hat man den Vorfall erklärt, aber das Problem besteht weiter: Ein moralisch-ethisches Phänomen wie Rassismus existiert also auch im moralisch und ethisch scheinbar keimfreien Raum der Algorithmen. Bedeutet: Formeln sind allen Glauben zum Trotz nicht neutral. Man spricht hier vom 'Biased Algorithm' - dem voreingenommenen Algorithmus, der menschliche soziale Vorurteile reproduziert. "Die Objektivität der Algorithmen ist ein Mythos", sagt Klaas Bollhoefer , Gründer und Geschäftsführer des auf künstliche Intelligenz spezialisierten IT-Dienstleisters Birds On Mars  . "Maschinen sind ebenso wenig objektiv wie Menschen. Dass man Entscheidungsprozesse mittels Automatisierung neutral machen kann, ist eine Legende, von der wir weg müssen."

Was die Folgen voreingenommener Algorithmen für Wirtschaft und Gesellschaft sind

Beispiele dafür, wie menschliche und soziale Vorbehalte die Algorithmen kontaminieren, die bereits heute über all um uns herum Verwendung finden, gibt es zahlreiche.

Die Gefahren dieses Irrglaubens vom unvoreingenommenen Algorithmus sind vielfältig, sie betreffen ganze Gesellschaften und Volkswirtschaften ebenso wie Individuen und einzelne Unternehmen, die ihre Geschäfte von Algorithmen abhängig machen. Das lässt sich an einer Handvoll Beispiele verdeutlichen, die aber bei Weitem noch nicht alle potenziellen Gefahren sogenannter 'Biased Algorithms' aufzeigen.

• Recruiting: Empfehlungsalgorithmen könnten zum Beispiel entscheiden, dass ein Bewerber für eine Stelle ungeeignet ist - und niemand weiß weshalb. Oder die Entscheidung findet aufgrund rassistischer oder sexistischer Kontamination der Datensätze statt. In den USA setzten sich Lehrer vor Gericht erfolgreich gegen eine Evaluationssoftware zur Wehr, die über Beförderungen entschied. Die Lehrer wiesen nicht einmal nach, dass die Software fehl entschied - sie konnten darlegen, dass die vollkommene Intransparenz des Algorithmus gegen die US-Verfassung verstößt. Denn nach der darf niemand in seinem beruflichen Fortkommen behindert werden, ohne dass man ihm das Verfahren dahinter erklären kann (siehe vamboozled.com)  . Genau das ist aber bei modernen Algorithmen oft der Fall: Selbst die Programmierer können nicht nachvollziehen, wie bestimmte Entscheidungen zustande kommen: "Man verwendet bestehende Datensets oder Open-Source-Bausteine und setzt diese modular zusammen - und schon hat man einen funktionierenden Algorithmus", sagt Bollhoefer. "Und je schneller ein Unternehmen eine funktionierende Software benötigt, desto weniger Grund gibt es die Qualität der Bausteine zu hinterfragen und die Ergebnisse anzuweifeln, die solcherart entstandene Algorithmen produzieren."
• Marketing: Spreche ich wirklich meine Kunden an - oder die, die ich dafür halte? Disqualifiziert mein Algorithmus vielleicht alle Käufer eines bestimmten Produktes als einkommensschwach?
  Und damit als unattraktiv für weiteres Up- und Cross-Selling, obwohl das ein in den Daten angelegter Irrtum ist? US-Forschern gelang es beispielsweise mithilfe von geparkten Autos auf Streetview-Fotografien Einkommensniveaus vorherzusagen. Doch die Entwicklerin des Algorithmus dahinter musste später selbst feststellen, dass ihre Schöpfung dazu neigte, rassistische und soziale Stereotype zu verfestigen (siehe Bloomberg  ). Ein Algorithmus kann also schnell dazu neigen, aus solchen Daten weitere Botschaften zu ziehen: Von 'Wer in der Gegend wohnt, ist einkommensschwach' geht es über 'Wer ein Auto fährt, wie es in solchen Gegenden oft geparkt ist, ist einkommensschwach' geht es zu 'Wer dieses Auto fährt, ist meist schwarz' und von dort zu 'Schwarze sind einkommenschwach'. Schützt man sein Geschäft nicht vor den unzulässigen Korrelationen, die ein ungezügelter Algorithmus schnell herstellt, handelt man nicht allein fragwürdig, sondern inkorrekt und geschäftsschädigend.
• Soziales: Algorithmen entscheiden bereits heute ganze Lebenswege mit - in den USA entscheiden Algorithmen mit, welche Gefängnisinsassen Bewährung bekommen und welche nicht, weltweit konsultieren Kreditinstitute algorithmische Hilfestellungen bei der Kreditvergabe und auch in Deutschland testet die Polizei bereits Software, die Verbrechen vorhersagen soll (siehe Spiegel Online  ). Die Voreingenommenheit von Algorithmen kann sogar Klischees produzieren, die an die Lebenswelt der vorwiegend in den 60er-Jahren angesiedelten Serie Mad Men   erinnern: Frauen gehören an den Herd. Das war buchstäblich das Urteil einer Software, die Verhältnisse zwischen Wörtern einordnen sollte. Der Algorithmus befand: Mann verhält sich zu Frau wie König sich zu Königin verhält. Soweit so okay. Aber dann urteilte das Programm: 'Mann verhält sich zu Programmierer wie Frau zu Hausfrau' (siehe Technology Review  ).

Doch wie kommen Rassismus, Sexismus und soziale Vorbehalte in Algorithmen hinein - ließe sich nicht vielmehr behaupten: 'Wenn in den Daten steht, dass Schwarze arm und kriminell, bestimmte Angestellte inkompetent und Frauen zu dumm zum Programmieren sind, muss es doch stimmen - Daten sind doch neutral!' Nein eben nicht. Und das Problem beschränkt sich bei weitem nicht auf Daten.

Die Dreifaltigkeit des elektronischen Vorurteils: Wie Rassismus und Sexismus moderne Algorithmen kontaminieren

Es gibt drei Wege, auf denen Voreingenommenheit in einen Algorithmus gelangen kann. Und alle haben eines gemeinsam: In der Tat könnten Algorithmen neutral sein, wären ihre Urteile objektiv. Wenn es den Menschen nicht gäbe. In allen drei Szenarien, wie Stereotype in die Formeln sickern, ist er die undichte Stelle - mal wissentlich, mal unwissentlich, hier ohne, dort mit böser Absicht.

1. 'Bias by Data' (Voreingenommenheit via Daten)
   Die Vorurteile stecken in den Daten. Beispiel: Man speist eine Verbrechensvorhersage-Software aus den Daten von Gefängnisinsassen. Klingt logisch: Wenn man an irgendetwas studieren kann, was Kriminalität ausmacht, dann ja wohl an Kriminellen. Nun ist es aber so, dass Ausländer und Menschen anderer Hautfarbe aus vielfältigen Gründen eher ins Gefängnis gesteckt werden als Staatsangehörige und Angehörige der dominanten Hautfarbe: Sie fallen eher durch die Sozialsysteme, sie finden schwerer Jobs und sie werden vom voreingenommenen Richter eher für die gleiche Straftat hinter Gitter gesteckt, für die ein anderer Bewährung kassiert. Und schon hat man ein auf 'objektiven' Daten beruhendes Prognoseprogramm, das zu dem Ergebnis kommt, Schwarze sind krimineller als Weiße. Hier ist es das in den Daten abgebildete gesellschaftliche Verhalten des Menschen, das für den Bias sorgt.
2. 'Bias by Design' (Voreingenommenheit via Verarbeitung)
   Okay, dann nehmen wir nette, freundliche und diskriminierungsfreie Daten. Alles gut? Nein - denn nun kommt ins Spiel, wie der Mensch Erkenntnisse verarbeitet. Dafür gibt es sogar ein analoges Beispiel, das viele Jahre lang unnötig für Verkehrstote gesorgt hat. Den Crash Test Dummy. Die Puppen, die bei Laborexperimenten die Insassen von Unfallautos darstellen. Anhand dieser Puppen hat man lange Zeit die Sicherheitsmaßnahmen von Autos entworfen und erforscht. Diese Puppen waren lange Zeit einen Meter achtzig groß und 80 Kilo schwer. Weil die zuständigen Ingenieure statt aller vorliegenden Daten von Unfallopfern nur die der (meist männlichen) Fahrer auswerteten, um Otto-Normal-Kraftfahrer als Puppe zu entwerfen. Es brauchte erstmal einen Querdenker, der laut fragte, was denn mit den in Unfällen involvierten Beifahrern, darunter oft Frauen und Kindern, sei.
3. 'Bias by Interaction' (Voreingenommenheit via Interaktion)
   Und dann nehmen wir eben objektive Daten (soweit das möglich ist) und verarbeiten sie neutral (so gut wir das können). Und was passiert? Unsere künstliche Intelligenz gibt sich mit den Falschen ab - den Nutzern. So erging es Microsofts   Chatbot 'Tay' (siehe Süddeutsche Zeitung online  ), der sich nach längerer Interaktion mit Nutzern im Web nur noch in rassistischen Plattitüden erging, sodass ihn seine Schöpfer zerknirscht vom Netz nahmen. Doch wie die Daten hatte auch er nur reproduziert, was ihm der Mensch beigebracht hatte.

Kann man einen Algorithmus von all diesen drei Formen der Voreingenommenheit heilen?

... und wie kriegt man den Rassismus wieder raus aus dem Algorithmus?

Für eine Objektivierung von Algorithmen gibt es verschiedene Szenarien. Diese werden bald Gegenstand einer eigenen Analyse bei iBusiness sein. Doch vorher stellt sich die Frage, ob dies immer und in allen Fällen wünschenswert ist. Das klingt provokativ - und tatsächlich ist damit nicht gemeint, dass Formeln Rassismus und Sexismus widerspiegeln sollen. Doch tatsächlich können Voreingenommenheiten auch bedeutsam und sogar hilfreich sein. Selbst wenn es theoretisch möglich wäre, mittels spezieller Programmierung jede Rücksichtnahme und Hautfarbe und Nationalität aus einem Algorithmus zu entfernen - nehmen wir an, dies geschähe in einem Dolmetsch- oder Networkingprogramm für Business-Anwender. Aber wäre es nicht äußerst hilfreich zu wissen, welche Nationalität einem da die Faust mit aufgestelltem Daumen entgegenschüttelt? Es ist hilfreich, um die potenziellen Bedeutungsvarianten einer Geste zu beurteilen, die in Deutschland 'Okay' bedeutet, in Israel 'Für den richtigen Preis steige ich in dein Auto ein, Süßer', in Japan 'fünf' oder 'Freund', im Iran 'Hau ab!' oder rund ums Mittelmeer 'Bitte vollziehen Sie augenblicklich den Sexualakt an Ihrer eigenen Person'.

Den virtuellen Voreingenommenheiten ist gemein, das sie bis zu einem gewissen Grade nur die Welt abbilden - oder besser gesagt: das, was man dafür hält, je nachdem, mit welchen ideologischen Konstrukten man seine Weltsicht stützt und auf welchen Fundamenten man sie errichtet hat.