Test-Technologie für Künstliche Intelligenz: Verborgene Dummheit in Algorithmen aufstöbern
12.03.2019 Bislang bleibt es oft verborgen, wie KI-Systeme zu ihren Entscheidungen kommen. Damit ist oft unklar, ob es sich wirklich um intelligente Entscheidungen und statistisch erfolgreiche Verfahren handelt. Ein von deutschen Forschern entwickeltes Verfahren, "Layer-wise Relevance Propagation" (LRP), macht nun sichtbar wie KI-Systeme Entscheidungen treffen.
Die Technologie identifiziert und quantifiziert ein breites Spektrum erlernter Entscheidungsverhalten. So wird es möglich, auch in sehr großen Datensätzen unerwünschte Entscheidungen zu erkennen. So verfolgte ein KI-System, das vor einigen Jahren mehrere internationale Wettbewerbe zur Klassifikation von Bildern gewonnen hat, eine aus menschlicher Sicht naive Lösungsstrategie: Es klassifizierte Bilder vorwiegend anhand des Kontextes. Dabei wurden Bilder der Kategorie 'Schiff' zugeordnet, wenn viel Wasser im Bild zu sehen war. Andere Bilder wurden als 'Zug' klassifiziert, wenn Schienen vorhanden waren. Wieder andere Bilder wurden anhand des Copyright-Schriftzuges der richtigen Kategorie zugeordnet. Die eigentliche Aufgabe, nämlich Schiffe oder Züge zu erkennen, hat dieses KI-System nicht gelöst - auch wenn es die Mehrzahl der Bilder im Endeffekt korrekt klassifiziert hat.
Die Technik wird Open Source sein und allen Wissenschaftlern und Wissenschaftlerinnen zur Verfügung stehen.