Unsichtbare Marktpotenziale mit Kaufkraftdaten erschließen Jetzt zum Webinar anmelden
Eigene Daten zeigen oft nur einen Teil des Bildes. Erfahren Sie, wie Kaufkraft-, Markt- und Regionaldaten zusätzliche Perspektiven auf Kunden, Regionen und Standorte eröffnen. Anhand konkreter Praxisbeispiele lernen Sie, wie sich bislang verborgene Marktpotenziale erkennen und gezielter nutzen lassen.
Jetzt zum Webinar anmelden
Expert-Talk: GEO-PR: "Es geht um Relevanz in KI-Systemen" Video-Podcast ansehen
Wer in ChatGPT, Gemini oder Perplexity sichtbar sein will, darf sich nicht auf die eigene Website verlassen. Denn KI-Systeme prüfen, was andere über eine Marke sagen - auf Fachportalen, Bewertungsplattformen, Vergleichsseiten, Reddit oder YouTube. Hier setzt GEO-PR an. Video-Podcast ansehen

November 2026 · Unser Geburtstagsgeschenk

35 Jahre iBusiness.
Im November alles frei lesen.

Zum Jubiläum öffnen wir alle iBusiness-Inhalte: vom 1. bis 30. November, für alle, ohne Anmeldung und ohne Bezahlschranke.

Alle Inhalte im November kostenlos
Heute frei lesen. Morgen nichts verpassen.

Registrieren Sie sich kostenlos und abonnieren Sie anschließend den iBusiness-Newsletter. So bleiben Sie bei den Themen auf dem Laufenden, die für Sie zählen.

Das Newsletter-Abo erhalten Sie im Rahmen der kostenlosen Registrierung.

Abruf exklusiv für Premium-Mitglieder

Interaktiv-Trends 2019/2020 (4): Biased Algorithms - Den Rassisten im System töten

14.12.2018 Der unvoreingenommene Algorithmus ist ein Mythos - KI spiegelt den Rassismus und Sexismus seiner Schöpfer, Daten und Programmierer wider, oft ohne dass es Marken wollen. Der Kampf gegen diskriminative KI wird Zukunftsthema.

Garbage in, garbage out - richtig. Genauso richtig ist aber auch: Racism in, racism out. (Bild: jg)
Bild: jg
Garbage in, garbage out - richtig. Genauso richtig ist aber auch: Racism in, racism out.

HANDLUNGSRELEVANZ

 
Operativ
Strategisch
Visionär
Technik
Medien
Wirtschaft
 
heute
morgen
übermorgen
Die iBusiness-Handlungsmatrix zeigt, wie langfristig die vorgestellten Aufgaben angegangen werden müssen.
TL;DR
Künstliche Intelligenz ist nicht objektiv - Daten, Programmierung und Nutzerinteraktion sind Einfallstore für diskriminierende Prägungen
Es gibt keinen unvoreingenommenen Algorithmus: Wo Maschinen menschliche Intelligenz imitieren, da werden sie stets auch menschliche Vorurteile mit imitieren. Das kann zur Gefahr für jede Unternehmung werden, die sich auf KI stützt. Doch wie kommt Vorurteil, oder englisch: 'Bias', in den Algorithmus? Vor allem drei Einfallstore lassen sie ein:
  1. 'Bias by Data' (Voreingenommenheit via Daten)
    Die Vorurteile stecken in den Daten. Beispiel: Man speist eine Verbrechensvorhersage-Software aus den Daten von Gefängnisinsassen. Nun fallen aber gerade Ausländer und Menschen anderer Hautfarbe besonders häufig durch die Sozialsysteme, sie finden schwerer Jobs und sie werden vom voreingenommenen Richter eher für die gleiche Straftat hinter Gitter gesteckt, für die ein anderer Bewährung kassiert. Ergo stellen sie einen überproportionalen Anteil an Sträflingen ohne de facto eine überproportionale Neigung zur Kriminalität zu haben. Dennoch wird das auf scheinbar objektiven Daten beruhende Prognoseprogramm genau das sagen, weil es zu Daten gewordene gesellschaftliche Vorurteile abbildet.
  2. 'Bias by Design' (Voreingenommenheit via Verarbeitung)
    Selbst perfekte Daten sind keine Garantie gegen Vorurteile. Die Verarbeitung kann sie genauso produzieren. Nehmen wir den Crash Test Dummy. Die Puppen, die bei Laborexperimenten die Insassen von Unfallautos darstellen. Anhand dieser 1 Meter 80 großen, 80 Kilo schweren Puppen gewannen Ingenieure zwar einwandfreie Daten - die aber eben nur auf 1 Meter 80 große, 80 Kilo schwere Fahrer zutrafen. Lange blieb unberücksichtigt, ob nicht anders gebaute Frauen und Kinder bei einem Unfall andere Schutzmechanismen benötigen.
  3. 'Bias by Interaction' (Voreingenommenheit via Interaktion)
    Objektive Daten, die neutral verarbeitet werden, können dennoch einen Algorithmus ergeben, der nicht immun ist gegen eine Kontaminierung durch die Nutzer. So erging es Microsofts   Chatbot 'Tay', der sich nach längerer Interaktion mit Nutzern im Web nur noch in rassistischen Plattitüden erging.
Solche voreingenommenen Algorithmen sind nicht nur ärgerlich für ein Unternehmen, das andere Werte vertritt (was glücklicherweise ja die meisten sind). Sie sind objektiv betrachtet geschäftsschädigend.

  • Recruiting: Empfehlungsalgorithmen könnten zum Beispiel entscheiden, dass ein Bewerber für eine Stelle ungeeignet ist - und niemand weiß weshalb. Oder die Entscheidung findet aufgrund rassistischer oder sexistischer Kontamination der Datensätze statt. Am Ende bringt sich eine Firma so um die besten Kandidaten, die aus unsinnigen Gründen ausgeschlossen werden. Und mehr noch: Ein nicht-diverses Team wird herangezüchtet, das seinerseits wieder bestehende Vorurteile zementiert (siehe Trend: Team-Diversität als Gegenmittel).
  • Marketing: Spreche ich wirklich meine Kunden an - oder die, die ich dafür halte? Disqualifiziert mein Algorithmus vielleicht alle Käufer eines bestimmten Produktes als einkommensschwach? Und damit als unattraktiv für weiteres Up- und Cross-Selling, obwohl das ein in den Daten angelegter Irrtum ist? So etwas geschieht schnell: Sagen die Daten erst einmal 'Wer dieses billige Auto fährt, ist einkommensschwach' und erkennen die Daten gleichzeitig 'Wer dieses Auto fährt, ist meist Ausländer' geht es ruckzuck zu 'Ausländer sind einkommensschwach'. Und so verschwinden ganze Zielgruppen aufgrund unzulässiger Korrelationen.
  • Soziales: Algorithmen entscheiden bereits heute ganze Lebenswege mit - in den USA bestimmen Algorithmen mit, welche Gefängnisinsassen Bewährung bekommen und welche nicht, weltweit konsultieren Kreditinstitute algorithmische Hilfestellungen bei der Kreditvergabe und auch in Deutschland testet die Polizei bereits Software, die Verbrechen vorhersagen soll. Und plötzlich sagt die KI 'Frauen gehören an den Herd'. Das war buchstäblich das Urteil einer Software, die Verhältnisse zwischen Wörtern einordnen sollte. Der Algorithmus befand: 'Mann verhält sich zu Frau wie König sich zu Königin' - aber eben auch 'Mann verhält sich zu Programmierer wie Frau zu Hausfrau'.
Knackpunkt: So wie man nicht durch einen hastigen Blick auf einen Motor herausfinden kann, warum das Ding unrund läuft, so kann man einen Algorithmus nicht ohne weiteres durchschauen. Das geht so weit, dass ein Algorithmus, zweimal aufgefordert, das exakt Gleiche zu berechnen, zwei verschiedene Ergebnisse ausspucken wird. Unternehmen und Wirtschaft können buchstäblich nicht ausschließen, dass Algorithmen verborgenen Regeln folgen. Firmen können aber Bedingungen schaffen, unter denen diskriminierungsfreie Ergebnisse gedeihen.
60 Prozent der Unternehmen wollen Algorithmen zur Prozessoptimierung nutzen.
60 Prozent der Unternehmen wollen Algorithmen zur Prozessoptimierung nutzen. (Grafik: Crisp Research/UBM)

Trend eins: Team-Diversität

Beim Thema Algorithmen entfaltet das Konzept Vielfalt eine datenwissenschaftliche Schlagkraft: Mitarbeiter mit verschiedenen nationalen, soziologischen und Gender-Merkmalen anzuheuern ist ein effektives Mittel, um zu verhindern, dass Voreingenommenheiten Einzug halten. Ein diverses Team wird eine vollkommen andere Sensibilität gegenüber einem Algorithmus an den Tag legen, der ausländischen, behinderten und armen Kunden keine Kredite bewilligen mag als ein Team aus weißen, gesunden, reichen Managern. Hier lassen sich 'Biases' schon auf Ebene von Empirie und Quellcode verhindern.

Trend zwei: Soziale System-Analytiker

Soziale System-Analytiker untersuchen Algorithmen nach rassistischen, geschlechtsbedingten oder sonstigen 'Biases'. Doch sie testen die Formeln nicht nur dahingehend, sondern versuchen auch demografische Verzerrungen im Datenmaterial zu erkennen (etwa so: 'Basiert der Algorithmus auf den Daten zu vieler Nutzer aus urbanen Gegenden, um aussagekräftig für rurale Gegenden zu sein?'). Der Social System Analyst verdient sein Geld buchstäblich dafür, ständig den Blick jenseits des Tellerrandes schweifen zu lassen.

Trend drei: Konzeptionelle Entschleunigung

Ist ein Algorithmus einmal voreingenommen, ist es extrem schwierig, diesen Bias zu entfernen: Er ist nicht wie eine Maschine mit einem defekten Zahnrad. Unternehmen sollten also aus Kostengründen ein Interesse haben, das Problem im Vorfeld zu vermeiden. Hilfreich ist es hier, den Entwicklungsprozess zu entschleunigen: Steht man als Unternehmen unter massivem Zeitdruck, wird die Zahl der 'Biases' zwangsläufig zunehmen. Nicht nur wegen Flüchtigkeitsfehlern, sondern weil man zur Zeitersparnis auf modulare Versatzstücke zurückgreifen wird, statt eigene Lösungen zu programmieren - keine Zeit, die Qualität der Bausteine zu hinterfragen und die Ergebnisse anzuzweifeln. Eigene Datensets zu erstellen wird die zeit- und kostenintensive Alternative ohne echte Alternative.

Trend vier: Machine Teaching statt Machine Learning

Die lernenden Algorithmen, bekannt vor allem als die Technologien Machine Learning und Deep Learning, bedienen sich an Unmengen von Daten. Aus ihnen lernen sie Muster und Regeln zu erkennen, die ihnen beim Treffen von Entscheidungen als Richtlinien gelten: Gibt man einem Algorithmus, der den Wert von Autos beurteilen soll, die Daten tausend roter Autos auf einem Schrottplatz und tausend blauer auf der Autobahn, dann wird er aus den Daten extrapolieren, dass rote Autos Schrott und blaue Autos schnell sind. Vollkommener Blödsinn - aber erklärbarer Blödsinn. Besser, man lehrte Maschinen Regeln und Kriterien, um gute Autos zu identifizieren: Hersteller, Garantien, verwendete Materialien, Kraftstoffverbrauch, Ersatzteilverschleiß. Machine Teaching ist ein von einigen Experten propagierter Paradigmenwechsel von der lernenden zur angelernten Maschine.

Trend fünf: Support 2.0

In der iBusiness-Analyse hat Deep Learning ein hohes Disruptionspotenzial: Es ist wertschöpfend, der Marktdruck, sich mit ihm zu befassen ist relativ hoch und es ist eine hippe, coole Technologie, was die Aufgeschlossenheit fördert.
In der iBusiness-Analyse hat Deep Learning ein hohes Disruptionspotenzial: Es ist wertschöpfend, der Marktdruck, sich mit ihm zu befassen ist relativ hoch und es ist eine hippe, coole Technologie, was die Aufgeschlossenheit fördert. (Grafik: HighText Verlag)
Wie Teslas KI-Chef Andrej Karpathy in dem Ideen-Blog Medium   aufzeigte, ist unsere moderne KI Software 2.0. Deep Learning funktioniert nicht mit Wenn-dann-Routinen, sondern man füttert die Algorithmen mit Daten, die Software nimmt selbstständig neuronale Gewichtungen vor und erschafft Verbindungen zwischen den Daten-Inputs und kommt so zu einem Ergebnis. Solche Software braucht mehr als ein monatliches Bugfix-Update. Sie muss sich in einem ständigen Echtzeit-Support befinden, soll sie nicht vom Kurs abweichen.

Trend sechs: White Box KI

Mathematiker und Programmierer werden sich verstärkt darum bemühen, eine künstliche Intelligenz statt als Black Box als White Box zu designen: Es geht darum, die Logiken nachvollziehbar zu gestalten, die eine KI zu einer bestimmten Entscheidung bringen. Forderungen - wie die an Google, seinen Quellcode zu offenbaren, gehen in diese Richtungen - gehen aber auch fehl. Denn diese Forderungen werden sich immer weniger erfüllen lassen. Allein schon, weil die Codes mit ihrer Länge ganze Bibliotheken füllen würden. Man kann aber dafür sorgen, Netze und Algorithmen möglichst transparent zu halten. So dass einsehbar ist: 'Wieso wurde eine bestimmte Entscheidung getroffen?'

Trend sieben: Ethos als Co-Programmierer

Der Wertekanon eines Unternehmens wird dessen Algorithmen mitprägen. So wird ein streng antirassistisches und diverses Unternehmen weniger wahrscheinlich einen diskriminierenden Algorithmus produzieren als eine aus ihrem Selbstverständnis heraus intolerante Institution. Der Ku-Klux-Klan wird einen anderen Algorithmus zur Vorhersage der Sozialprognose von Straftätern programmieren als etwa Amnesty International  . Verantwortung für KI darf nicht in Teilprozesse delegiert werden, sondern ist eine Frage der Führung.
Thema: Interaktiv-Trends 2019/2020 (4): Biased Algorithms - Den Rassisten im System töten

Kommentar von Sebastian Halm

In Festanstellung gesucht: Positivdiskriminierer

So wünschenswert rassismusfreie Algorithmen sind - so notwendig werden bald gezielt einprogrammierte Vorbehalte sein. Der Aufschrei ist mitprogrammiert.

Weiterlesen
 (HighText Verlag OHG)
Bild: HighText Verlag OHG
Neuer Kommentar  Kommentare:
Schreiben Sie Ihre Meinung, Erfahrungen, Anregungen mit oder zu diesem Thema. Ihr Beitrag erscheint an dieser Stelle.
Verwandte Beiträge zu dieser Analyse
alle Veranstaltungen Webcasts zu diesem Thema:
Dienstleister-Verzeichnis Agenturen/Dienstleister zu diesem Thema: