Head of Artificial Intelligence lernt von Künstlicher Intelligenz

Und dennoch gibt es ein konkretes Ereignis, das ich als „da habe ich zum ersten Mal von unserer KI etwas gelernt“ in Erinnerung habe. Es liegt nun schon einige Zeit zurück und wir waren gerade mit bludelta.ai – einem Service zur Erkennung von Informationen aus eingescannten Rechnungen – in Produktion gegangen. Unser Service hatte bei einer Rechnung die Rechnungsnummer nicht erkannt. Obwohl auf der Rechnung ganz klar das Wort „Rechnungsnummer“ gefolgt von einer ID geschrieben stand, lieferte unser Service: „keine Rechnungsnummer vorhanden“. Wo lag der Fehler?

Wenn man die Abbildung betrachtet, ist es vielleicht offensichtlich. Ich musste allerdings mehrmals hinschauen: Das Ungewöhnliche an dieser Rechnung ist, dass die Rechnungsnummer ausschließlich aus Buchstaben besteht! Und so etwas hatte unser Service „in seinem Leben“ noch nicht gesehen. Wir hatten bis dahin keine einzige Rechnung zum Lernen verwendet, die eine Rechnungsnummer bestehend aus lauter Buchstaben enthielt. Ein kleiner Test bestätigte die Vermutung: Wenn man auch nur einen Buchstaben der Rechnungsnummer durch eine Zahl ersetzt, dann liefert unser Service die geänderte Rechnungsnummer richtig, und zwar gleich mit einer Wahrscheinlichkeit von 99 %.

Das war in vielfacher Hinsicht bemerkenswert und lehrreich. Zunächst demonstrierte dieses Verhalten, dass in unserem KI-Modell eben nicht nur der Bezeichner „Rechnungsnummer“ als Kriterium verwendet wird, sondern es sogar Situationen gibt, in denen das Modell trotzdem die ID ablehnt. Und dieses Beispiel zeigt auch, wie wichtig es ist, eine repräsentative Stichprobe für das Trainieren der Modelle zu finden.

Aber die nächste Frage war ja, ob wir unserem Modell das überhaupt beibringen sollten. Dass es äußerst selten vorkommt, war uns schon klar. Aber ist das überhaupt eine gültige Schreibweise? Die Beurteilung wurde durch den Umstand erschwert, dass diese Rechnung offensichtlich eine Fake-Rechnung war. Unsere Recherchen ergaben, dass für die Rechnungsnummer nur eine Eindeutigkeit vorgeschrieben ist, die aber auch mit Buchstaben erreicht werden kann.

Inzwischen wissen wir, dass es bei Amazon immer wieder Rechnungsnummern gibt, die ausschließlich aus Buchstaben bestehen. Das kommt also tatsächlich in der Realität vor und unser Service hat das auch inzwischen gelernt.

Ich habe dieses Ereignis als aufregendes Erlebnis in Erinnerung. Zuerst dachte ich schlicht an einen Fehler, und zwar einen schwerwiegenden – um schlussendlich zu erkennen, dass unser Modell ja eigentlich richtig reagiert hat – und uns eine Menge zum Nachdenken gegeben hat. Wir hatten etwas gelernt!