Irren ist menschlich! Aber wieviel? Und was hat das mit KI zu tun?

Bei der Google-Suche nach Vergleichswerten der menschlichen Fehlerraten mit unseren Werten hat sich eines schnell gezeigt: Praktisch jeder Anbieter von Software für die Automatisierung von Belegerfassungs- und Buchhaltungssystemen erwähnt die Fehlerquelle Mensch, aber keiner nennt eine konkrete Zahl. Dies spiegelt auch unsere Erfahrung aus den Gesprächen mit den Kunden wider. Der menschliche Fehler ist anerkannt, wird in der Rechnungserfassung aber nicht gemessen.

Bei Maschinen verhält es sich anders. Die Fehlertoleranz ist gering und es gilt vielmehr die Devise: Aller Anfang ist der KPI (Key Performance Indicator). Dabei darf man jedoch nicht vergessen, dass die Maschine entweder vom Menschen geschaffen wird oder, wie bei der Künstlichen Intelligenz, sehr oft vom Menschen lernt. Unsere BLU DELTA Invoice Capturing Intelligenz funktioniert daher nicht von der menschlichen Fehlerrate losgelöst, sondern diese ist in mehrfacher Hinsicht entscheidend für die Qualität unseres KI Produkts (siehe auch Vorteile der KI).

Die menschliche Fehlerrate als Ankerpunkt für die KI

Aber wie viele Fehler dürfen es sein? In der Entwicklung von KI-Systemen gibt uns die menschliche Fehlerrate einen optimalen Orientierungspunkt. Hat unser Algorithmus eine Fehlerrate von 10%, die menschliche Fehlerrate liegt aber bei 2%, so ist dies ein wichtiger Hinweis über die Qualität und für die weitere Optimierung der KI (siehe auch Andrew Ng‘s Machine Learning Yearning, Kapitel 33). Denn unsere KI soll natürlich besser sein als der Mensch!

Die Künstliche Intelligenz „lernt“ vom menschlichen Fehler

Wir trainieren unsere Künstliche Intelligenz mit Daten, welche von unseren Datenerfassern (oder auch Labeler genannt) erfasst wurden. Die Qualität und die Repräsentativität der Daten für den Anwendungsfall spielen eine entscheidende Rolle: Um die Fehlerrate unserer KI besser als die des Menschen zu machen, benötigen wir Daten, welche möglichst wenige menschliche Fehler beinhalten. Bei BLU DELTA haben wir dazu eigene Regeln definiert und Systeme entwickelt, die dies gewährleisten.

Unsere menschliche Fehlerrate: 2% und 7%

Bei der Belegerfassung geht es um das Erkennen der richtigen Merkmale einer Rechnung. Der Datenerfasser oder Buchhalter überträgt aus einem Scan oder Bild der Rechnung das gesuchte Merkmal (z.B. den Bruttogesamtbetrag) und trägt es in eine Datenmaske ein. Diese Daten werden dann in unserem Labeling Tool erfasst und für weitere Messungen oder Trainings weiterverarbeitet. Die Korrektheit der Daten wird dabei in einem mehrstufigen Prozess geprüft, wobei schwierige oder unklare Erfassungen zusätzlich gesichtet werden.

Dabei gibt es verschiedene Schwierigkeitsgrade: Der Bruttogesamtbetrag ist häufig ein besonders hervorgehobener Betrag mit Bezug zu einer Währungsinformation mit einer meist eindeutigen Position auf der Rechnung. Bei dieser Art von Merkmalen haben wir bei unseren Datenerfassern eine durchschnittliche Fehlerrate von 2% gemessen. Andere Merkmale, die nicht immer vorhanden sein müssen, deren Format allgemeiner und deren Position auf der Rechnung quasi beliebig ist, sind deutlich schwieriger. Hier haben wir eine Fehlerrate von 7% gemessen.

Für die Fehlerratenmessung der einfach und klar erkennbaren Merkmale untersuchten wir als Basis 1052 Merkmalerfassungen von 9 Datenerfasser, für die Messung der schwer erkennbaren Merkmale verwendeten wir als Basis 231 Merkmalerfassungen von 2 Datenerfasser zur Analyse.

Ein Leitfaden für die Qualität der BLU DELTA Modelle

Daraus leitet sich ein Leitfaden für unsere BLU DELTA KI Modelle ab. Die Fehlerrate für klar erkennbare Merkmale soll zumindest kleiner als 2% sein (bzw. 7% für schwer erkennbare Merkmale).