KI: Vom Prototyp zum Produkt

Heute – etwa drei Jahre später – können wir auf die erfolgreiche Entwicklung unseres Produkts zurückblicken. Unser BLU DELTA-Service ist mittlerweile bei KMU-Kunden, Partnern und auch Großkunden im Einsatz und erspart vielen Finanzabteilungen und Steuerberatern Kosten und Mühen.

Der Weg vom Prototyp zum Produkt ist ein steiniger und wird oftmals vollkommen unterschätzt – wir waren da keine Ausnahme. Drei Aspekte spielten bei uns eine zentrale Rolle für die erfolgreiche Entwicklung: Datenqualität, Benchmarks und Entwicklungsgeschwindigkeit.

Datenqualität

Heute weiß es jeder: Für die Entwicklung, das Training und die Qualitätsmessung von KI-Modellen benötigt man Daten. Unternehmen, welche viele für ihren Geschäftsbereich relevante Daten besitzen (bei BLU DELTA sprechen wir immer vom ‚Datenschatz‘), haben eine blendende Zukunft vor sich – sofern sie wissen, wie man diese Daten heutzutage nutzt.

Nun ist die KI natürlich nur so gut wie ihre Daten. Ein negatives Beispiel lieferte hier auch Amazon (siehe auch der Artikel bei mobilegeeks.de).

Daten müssen für den Anwendungsfall realistisch, geprüft und in entsprechender Menge vorhanden sein. Es braucht ein aktives Datenmanagement mit entsprechenden Tools im Hintergrund, um große Mengen von Daten mit hoher Qualität zur Verfügung stellen zu können. Unser Data Management Framework erlaubt es, sogenannte Daten-Labeler mit Aufgaben gezielt zu steuern. Die so annotierten Daten werden anhand von Regeln durch die KI und in letzter Instanz auch von einem Experten geprüft bzw. adaptiert. Erst am Ende eines solchen Prozesses werden Daten explizit freigegeben. Nur solche Daten dürfen für die Entwicklung und das Training verwendet werden. Auf diese Weise kann die Qualität der Daten und damit auch diejenige der Künstlichen Intelligenz hochgehalten werden.

Benchmarks

Abbildung 1: High Level BLU DELTA QA KPIs

Mit Benchmarks wird die Qualität eines Modells gemessen. Dazu wird eine repräsentative Menge und Qualität(!) an Referenzdaten mit dem Ergebnis eines KI-Modells verglichen. Ähnlich wie ein Continuous-Integration-Prozess in der Softwareentwicklung erlaubt unser Data–Management-Framework die automatisierte Messung bei Modelländerungen oder neuen Trainings. Neue Benchmarks werden laufend hinzugefügt und machen unsere Fortschritte automatisiert sichtbar.

Abbildung 2: Accuracy Development BLU DELTA

Dabei messen wir sowohl einzelne Modellergebnisse (bei Rechnungen z. B. ein Modell für den Bruttogesamtbetrag) oder auch den speziellen Mehrwert für Kunden (z. B. Gesamterkennungsrate von mehreren Rechnungsdetails für spanische Rechnungen). Die Messungen fokussieren dabei auf Genauigkeit und falsch positive Ergebnisse. In der Finanzwelt ist ein fehlender Wert meist besser als ein falscher.

Entwicklungsgeschwindigkeit bei komplexen Themen

KI ohne Agilität ist undenkbar! Abgesehen von Themenverfehlungen wird KI praktisch ausschließlich für Lösungen in komplexen Problembereichen eingesetzt. Das bedeutet, man weiß, was man will – aber nicht wie man zu dieser Lösung kommt. Der klassische Ansatz ist daher Agilität – aufbauen – messen – lernen (siehe auch den Build-Measure-Learn Artikel von Mindtools). Entscheidend ist hier vor allem auch, diesen Zyklus mit hoher Qualität in möglichst kurzer Zeit zurückzulegen, also möglichst bald zu reflektieren und zu messen, ob der letzte Implementierungsschritt in die richtige Richtung (also hin zur Lösung des Problems) gemacht wurde – oder ob Korrekturen für diesen Weg notwendig sind.

Um die Entwicklungsgeschwindigkeit zielgerichtet hoch zu halten, ist es zudem notwendig, ein einzelnes Beurteilungskriterium für die Messung von neuen Modellen anzuwenden (siehe auch „Single Metric Best Practice“, Machine Learning Yearning von Andrew Ng).

Für alle drei Themen ist neben einer entsprechenden Tool-Unterstützung, die laufend weiterentwickelt und optimiert wird, auch ein hoher Automatisierungsgrad notwendig. Nur so wird es möglich, dass etwa sämtliche Benchmarks täglich ausgeführt werden oder laufend neue Labels auf mögliche Freigaben überprüft werden können.

Diese drei Punkte waren der Schlüssel, um die BLU DELTA-KI-Engine vom Prototypen zu einem qualitativ führenden KI-Produkt für die Rechnungserkennung zu entwickeln!