Der KI vertrauen, aber nicht blind

Ein Forschungsteam der TU Darmstadt um Professor Kristian Kersting beschreibt in der Zeitschrift „Nature Machine Intelligence“, wie dies gelingen kann – mit einem cleveren Ansatz des interaktiven Lernens.

Man stelle sich folgende Situation vor: Eine Firma möchte einer Künstlichen Intelligenz (KI) beibringen, auf Fotos ein Pferd zu erkennen. Dafür trainiert sie die KI mit mehreren Tausend Aufnahmen von Pferden, und zwar solange, bis die KI auch auf unbekannten Aufnahmen das Tier treffsicher identifizieren kann. Die KI lernt schnell – wie ihr die Unterscheidung gelingt, weiß die Firma nicht, aber das ist ihr egal. Sie ist begeistert, wie zuverlässig es klappt. Doch dann findet eine misstrauische Person heraus: Auf den Fotos stand unten rechts in der Ecke eine Copyright-Information mit einem Link auf eine Pferde-Seite im Internet. Die KI machte es sich also ziemlich einfach: Sie lernte, das Pferd nur anhand dieser Copyright-Angabe zu erkennen. Forscher sprechen in diesem Falle von Confounders – Störfaktoren, die mit der eigentlichen Identifizierung nichts zu tun haben sollten. In diesem Falle funktionieren sie, so lange die KI weitere vergleichbar Bilder erhält. Fehlt die Copyright-Angabe, ist die KI aufgeschmissen.

Verschiedene Studien haben in den letzten Jahren gezeigt, wie häufig solche Confounders in KI-Systemen vorkommen und wie man sie aufdeckt. Sie sind auch als Clever Hans-Phänomen in die Forschung eingegangen – benannt nach einem Pferd, das Anfang des vergangenen Jahrhunderts angeblich rechnen konnte, aber tatsächlich nur an der Körpersprache des Fragestellers die richtige Antwort ablas. „Eine KI, die als Clever Hans bezeichnet wird, lernt aus falschen Gründen die richtigen Schlüsse zu ziehen,“ sagt Kristian Kersting, Professor für künstliche Intelligenz und Maschinelles Lernen am Fachbereich Informatik der Technischen Universität Darmstadt. Es ist ein Problem, mit dem alle KI-Forscher konfrontiert werden – weshalb seit einigen Jahren auch der Ruf nach Erklärbarkeit von Künstlichen Intelligenz laut wird.

Kersting kennt die Folgen dieses Problems. Schon seit Jahren entwickelt der Forscher mit seinem Team KI-Lösungen, um die Resistenz einer Pflanze gegenüber Schädlingen zu bestimmen oder den Befall frühzeitig zu erkennen – noch bevor man ihn mit dem menschlichen Auge sehen kann. Voraussetzung für den Erfolg einer solchen Anwendung ist jedoch, dass die Experten in diesem Gebiet der KI tatsächlich vertrauen. Gelingt es nicht, dieses Vertrauen zu generieren, wenden sich die Experten von der KI ab – und verpassen damit die Chance, mit dieser Technik Pflanzen in Zeiten der Klimaerwärmung resistent zu gestalten.

Vertrauen muss man sich allerdings erst einmal verdienen. Und wie dies bei einer KI gelingt, stellt der Forscher mit seinem Team in einer aktuellen Publikation in der Zeitschrift „Nature Machine Intelligence“ vor: mit interaktivem Lernen. Gemeint ist die Einbindung von Fachleuten in den Lernprozess. Dafür müssen sie verstehen, was die KI tatsächlich macht. Genau genommen muss die KI Informationen über das aktive Lernen liefern, zum Beispiel, welche Informationen sie aus einer Trainingsinstanz wie dem Bild eines Pferdes herausnimmt, sowie eine Erklärung, wie sie aus dieser Information eine Voraussage ableitet. Menschen mit Fachexpertise können nun beides prüfen. Ist die Voraussage grundsätzlich falsch, kann die KI neue Regeln lernen. Sind Voraussagen und die Erklärung korrekt, müssen die Fachleute nichts tun. Ist die Voraussage jedoch korrekt, aber die Erklärung falsch, stehen sie vor einem Problem: Wie kann man einer KI vermitteln, dass die Erklärung falsch ist?

Dafür gibt es eine Strategie, die Forscher als explanatory interactive learning (XIL) bezeichnen. Vereinfacht ausgedrückt, gibt der KI-Experte einige Beispieldaten zurück, aus den hervorgeht, dass die angenommenen Unterscheidungsmerkmale keine Rolle spielen – und somit Confounders sind. Im eingangs erwähnten Beispiel würde die KI aufzeigen, dass sie die Copyright-Informationen für relevant hielt. Fachlich Versierte würden Bilder zurückspielen, in denen anstelle der Copyright-Information per Zufall andere Bildinformationen eingeblendet sind – die KI wird sie dann immer weniger berücksichtigen.

Das TU-Forschungsteam testete seine Methode anhand eines Datensatzes zur Cercospora-Blattfleckenkrankheit, eine weltweit verbreitete, schädliche Blattkrankheit an Zuckerrüben. Die KI – ein Deep Neural Network (DNN) – lernte zunächst, in hyperspektralen Daten sich auf Bereiche zu konzentrieren, die laut Pflanzenexpertin nicht ausschlaggebend sein konnten, um den Schädling zu identifizieren – obwohl die Voraussagen zuverlässig wirkten. Nach der Korrektur durch explanatory interactive learning (XIL) ging die Trefferquote zwar leicht zurück, aber die KI zog aus den richtigen Gründen die richtigen Schlüsse. Mit einer derartigen KI können die Expertin und der Experte arbeiten. Umgekehrt lernt die KI vielleicht langsamer, aber dafür liefert sie auf lange Sicht die verlässlicheren Voraussagen.

„Interaktion und Verständlichkeit sind für das Vertrauen in maschinelle Lernverfahren somit von zentraler Bedeutung“, sagt Kersting. Überraschenderweise wurde der Zusammenhang zwischen Interaktion, Erklärung und Vertrauensbildung in der Forschung weitgehend ignoriert – bislang.