OCR: Leitfaden und Checkliste (2022)

Aber sogar innerhalb der KI-orientierten OCR Community gibt es Unterschiede. Seit 2015 werden in der Forschung praktisch durchgehend neue KI-Methoden zur Verbesserung der OCR-Systeme entwickelt. Hat man 2015 noch mit klassischen Machine Learning Modellen gearbeitet, so nutzen heute die Technologieführer NLP, Deep Learning und Transformer Architekturen.

Die Vorteile für dien Kund*innen sind dabei unmittelbare bessere Ergebnisse ohne Aufwand und ein System, das nun tatsächlich lernt und nicht nur eine vereinfachte Vorlagen- oder Template-Verwaltung darstellt.   

Dies gibt den Anwender*innen bessere aber auch vielfältigere Möglichkeiten Bild in Text und in weiterer Folge in strukturierte Information umzuwandeln. Mehr Vielfalt bedeutet aber auch die Qual der Wahl.

Der folgende Leitfaden gibt daher einen Überblick über die Unterschiede zwischen modernen KI OCR Systemen und algorithmisch-basierten bzw. Vorlagen-basierten Systemen. Weiters erläutert dieser Artikel konkrete Punkte die zu beachten sind, wenn man vor der Aufgabe steht, eine neue OCR für ein Unternehmen zu selektieren. Einen Link zur BLU DELTA OCR-Checkliste als Basis für einen Proof-of-Concept (PoC) oder Request for Proposal (RFP) finden Sie zusätzlich zum Download im letzten Teil des Artikels. Somit statten wir Sie mit dem Wissen aus, das sie benötigen, um erfolgreich die richtige OCR für Ihren Use Case zu selektieren.

Doch „first things first“ – schauen wir uns etwas mehr im Detail an was eine OCR macht und wie es funktioniert. Daraus ergeben sich dann auch die ersten Aspekte, worauf man bei der Selektion achten muss.

Was genau ist ein OCR System?   

Eine OCR (Optical Character Recognition, Optische Zeichenerkennung oder auch Texterkennung) wandelt ein bereits digitalisiertes Bild mit reiner Pixelinformation in Textzeichen um. Zusammengehörige Pixel, die dabei ein bekanntes Zeichen darstellen werden so in einen Schrift- und Sprachenkontext gesetzt und in maschinenlesbare Zeichen (Buchstaben, Zahlen, etc.) übersetzt.

OCR ist also eine Technologie, die die Umwandlung von gescannten Papierdokumenten, PDF-Dateien oder Digitalfotos in bearbeitbare Dokumente für Computer und Software (wie Microsoft Word oder FIBU Software) ermöglicht.

Wenn Sie zum Beispiel eine Rechnung, eine Bestellung oder einen Vertrag, den Ihnen jemand als bildbasierten Anhang in einem Mail geschickt hat, weiterverarbeiten möchten, dann reicht die Pixelinformation nicht aus, um mit den Informationen aus diesen Dokumenten unmittelbar weiterarbeiten zu können. Der Scanner macht nur ein Bild des Dokuments und dieses besteht aus einer Ansammlung von Bildpunkten mit Farbinformationen. Zur Weiterverarbeitung der Informationen aus gescannten Dokumenten, Digitalbildern oder Bild-PDFs müssen folgende technische Schritte geschehen:

1. Konvertierung von Pixel in Zeichenketten (Buchstaben und Zahlen)
2. Konvertierung von Buchstaben in Typen: Wörter, Beträge, IDs, Zahlen, Namen, Adressen,
3. Konvertierung der Typen in Bedeutung: Dokument-Art, Dokument Datum, Brutto-Gesamtbetrag, Sender Name, UID, IBAN, etc.)

OCR ≠ Semantik

Aus technischer Sicht erfüllt eine OCR nur den ersten Schritt (siehe auch Texterkennung – Wikipedia)! In Management Etagen und FIBU Abteilungen hat sich aber der OCR Begriff (Optical Character Recognition) als Gesamtprozess (Schritt 1 bis 3) eingebürgert. Mehr zur OCR Begriffsklärung hilft auch folgender Artikel: Rechnungserfassung: OCR, iOCR und KI.  

Wie funktioniert ein OCR-System?

Sehen wir uns an, wie eine OCR Software funktioniert. Als Erstes analysiert die OCR Applikation die Struktur des Dokuments. Es unterteilt eine Seite in Strukturelemente wie Textblöcke, Tabellen und Bilder. Anschließend werden Zeilen gebildet, welche in Wörter und schließlich in Buchstaben aufgeteilt werden.

Wurden die einzelnen Buchstaben identifiziert, vergleicht das Programm diese mit einer Reihe von Musterbildern und berechnet die Wahrscheinlichkeit der Übereinstimmung (siehe Bild Zeichen ist zu 83% ein „L“ aber nur zu 16% ein "I”). Die OCR Software entscheidet sich dann für das wahrscheinlichste Zeichen und weist ihm einen standardisierten Code (z.B. ISO8859-1) zu.

Ein OCR System kann darüber hinaus für mehrere Sprachen konfiguriert werden. Je mehr Sprachen abgedeckt werden sollen, desto schwieriger wird die Aufgabe für die OCR und die Erkennungsqualität kann sich verringern. Man denke da z.B. an die Unterscheidung im Deutschen: „a“ vs „ä“, die es im Englischen nicht gibt.

Zusätzlich bieten algorithmische OCR Texterkennungen oftmals eine Wörterbuchunterstützung für unterschiedliche Sprachen an. Damit kann die OCR z.B. für einen bestimmten Kontext (z.B. Buchhaltung) optimiert werden.

Bildqualität ist entscheidend für die Automatisierung mit OCR

Ein Bild in ein Dokument umzuwandeln dauert nur einige Sekunden. Dadurch erhält man in einem ersten Schritt ohne manuellen Aufwand einen Text und dessen Meta-Information wie Textgröße, Font und Position.

D.h. nach Schritt 1 ist ein “Bild” oder „Bild-PDF“ durchsuchbar, man kann den Text markieren und kopieren. Eine Mensch kann nun dank seiner Intelligenz mit Hilfe seines Laptops diese Zeichen weiterverarbeiten (suchen, kopieren, etc.) und Semantik zuweisen. Also z.B. diese Zeichenkette ist das Eingangsdatum. Der Mensch übernimmt in diesem Fall die Schritte 2 und 3 – also das Erkennen der semantischen Bedeutung.

Aber eigentlich wollen wir, dass die Maschine die Automatisierung dieser für den Menschen banalen Aktivität übernimmt. Für eine automatisierte Unterstützung des Menschen muss die Maschine die semantische Bedeutung des Texts selbst erkennen. Eine hohe Qualität des ersten Schritts (technische OCR) ist somit Voraussetzung für eine gute semantische Auswertung und somit hohe Automatisierung in den folgenden Geschäftsprozessen.

Die Zeichen, Wörter und Zahlen sowie deren Meta-Informationen (Font, Größe, Position, etc.) bilden eine wichtige Datenquelle für darauf aufbauende Algorithmen und KI-Modelle. Sowohl moderne KI-Ansätze wie DeepOCR als auch ältere OCR Ansätze, welche auf statistische Modelle beruhen, liefern hier den gewünschten Output.

Algorithmisches OCR vs. DeepOCR

Dies ist ein großes Thema und an dieser Stelle möchten wir nur auf die wichtigsten Unterschiede aus Kundensicht eingehen. Prinzipiell ist eine algorithmisches OCR ein starres Software-Gebilde. Verbesserungen erreicht man durch den Einsatz eines*r Entwickler*in, der*die Änderungen am Source Code vornimmt, dies testet und den Kund*innen einen neuen Release zur Verfügung stellt. Einen Prozess, der ein automatisiertes Lernen und automatische Verbesserung der Texterkennung (Schritt 1) ermöglicht, ist somit ausgeschlossen.

Ein DeepOCR lernt anhand von Daten. Die Entwickler*innen implementieren den Lernprozess und daraufhin kann das System anhand von Beispielen von Zahlen, Buchstaben und Wörter trainiert werden. Ein trainiertes DeepOCR kann somit wesentlich mehr Situation lernen und macht weniger Fehler. Zusätzlich kann auch noch für den eigenen Use Case ein Lernprozess erstellt und entsprechend trainiert werden. Mehr dazu mit einem Vergleich von bestehenden OCR und DeepOCR Produkten finden Sie im folgenden Artikel: OCR und DeepOCR im Vergleich.

Nachteil des DeepOCR kann die Performance bzw. die teurere Hardware sein. Wenn Sie eine Online-Anwendung haben und daher in „Echtzeit“ Ergebnisse gefordert sind, dann benötigen Sie spezielle Hardware mit speziellen Prozessoren(sogenannte Graphical Processing Units, GPU)für ihre Anwendung oder Sie nutzen einfach einen Cloud Service.

Wie bereits erwähnt bestimmt ein OCR System die Wahrscheinlichkeit, wie sehr ein Zeichen einer bestimmten Zahl oder einem Buchstaben entspricht. Eine „8“ wird so schnell zu einer „6“ oder zu einem „B“, denn diese Wahrscheinlichkeit variiert mit der Bildqualität.

Unscharfe Bilder, farblich hinterlegter Text oder einfach schlecht gescannte Dokumente können die Qualität stark beeinflussen. Wir sehen in unseren regelmäßigen BLU DELTA Benchmarks (Qualitätsmessung bei KI Systemen), dass die Foto- und Scanqualität für die nachfolgenden Prozesse entscheidend ist.

Gerade in diesem Bereich wurden durch DeepOCR beachtliche Erfolge erzielt. In unseren Messungen hatten DeepOCR Systeme herstellerabhängig, wesentliche Vorteile (ca. 10-30% genauer).

Ein „gekippter“ Buchstabe muss aber keine große Auswirkung haben. Voraussetzung dafür ist aber eine fehlerverzeihende Erkennung der Bedeutung der Wörter, welche moderne Natural Language Programming KI Ansätze (NLP) mitbringen. Mehr dazu später im Artikel.

Bis zu 30% höhere Automatisierungsrate mit KI

Hervorgerufen durch schlechte Scan- und Bildqualität sehen wir bei unseren Kunden Differenzen von bis zu 30% bei den Automatisierungsraten in der Dokumentenerfassung. Diese Unterschiede sind auch mit ein Grund, warum Erkennungsraten und Automatisierungsraten von einer Firma zur nächsten variieren. Deshalb raten wir Firmen mit größerem Volumen zu einer Vorhersage der Automatisierungsrate.

Digitalfoto und OCR

In der Regel weisen Bilder, die mit mobilen Endgeräten aufgenommen wurden, folgende Probleme auf:

• Schatten
• Ungleichmäßige Ausleuchtung
• Falsche Perspektive
• Zusätzliche Bereiche außerhalb der Seitengrenzen

Eine OCR Software kann diese Probleme bis zu einem bestimmten Grad korrigieren. Trotzdem bilden Digitalfotos durch die oben genannten Punkte die größte Herausforderung für die Automatisierung. Sogenannte CamScanner oder ähnliche mobile OCR Scanner und/oder Bild Optimierungen können hier die Qualität vorab entsprechend verbessern.

Scan und OCR

Professionelle Scanner bieten bereits eine gute Basis für die automatisierte Verarbeitung und Erfassung von Dokumenten. Wenn möglich, dann scannen Sie Ihre Dokumente in Schwarz/Weiß (somit ist eine verlustfreie Komprimierung möglich) und mit mind. 300dpi.  Kleine Schriften bis zu 9pt können so noch gut erkannt werden.

PDF-Text und OCR

PDF-Text liefert die besten Ergebnisse. Hier entfällt meist der eigentliche OCR Prozess. Das PDF-Dokumente enthält bereits die Zeichen in digitaler Form und der Folgeprozess muss „nur“ noch die Semantik erkennen. Dokumente im reinen PDF-Text Format erreichen  bei der BLU DELTA KI Gesamterkennungsraten von mehr als 90%. Wenn möglich sollten Sie daher bei Ihren Dokumentquellen darauf achten, dass Sie unstrukturierte oder semistrukturierte Dokumente als PDF-Text erhalten.

Allerdings sind auch PDF-Text Dokumente oftmals mit Bildern angereichert, in denen Text Informationen enthalten sind. Somit relativiert sich in diesem Fall der Vorteil.

Sehen Sie dazu auch unseren Artikel: Tipps und Tricks für bessere OCR Ergebnisse.

Vom Text zur Bedeutung

Moderne NLP (Natural Language Processing) Ansätze können solche Fehler „ausbügeln“. Mit NLP werden bestimmte Wörter klassifiziert und können so bestimmten Datentypen zugewiesen werden. So wird z.B. erkannt, dass „12.3.2019“ genauso ein Datum ist wie „3. März 19“. Fehler in Wörtern wie z.B. Liefershein vs. Lieferschein können so auch automatisch korrigiert und vorhergehende OCR Fehler ausgebessert werden.

Eine Künstliche Intelligenz (wie z.B. unsere BLU DELTA KI Rechnungserfassung) nutzt die Ergebnisse der OCR, um daraus automatisiert und ohne weiteren manuellen Aufwand nutzbare Informationen für die Folgeprozesse (z.B. Kreditorenbuchhaltung) zu extrahieren. Der*die Kund*in erhält so nicht nur Zeichenketten, Wörter und Zahlen, sondern auch deren Bedeutung – man spricht hier auch oftmals von einem intelligenten OCR (oder auch iOCR).

Speziell im Bereich (Kreditoren-)Buchhaltung wird der Begriff OCR oftmals mit der Erfassung von Informationen von Rechnungen gleichgesetzt. D.h. die OCR enthält eine Komponente für die Texterkennung (OCR) und darauf aufbauend Modelle (KI- oder algorithmisch), die die semantischen Zusammenhänge erfassen können.

Vor 2015: OCR Templates / Vorlagen

Ein Template-basierter Ansatz bedeutet, dass der*die Kund*in Tools zur Hand bekommt mit denen man für jede*n Lieferantin*en ein Template oder eine Vorlage anlegt. Anhand dieser Vorlage kann das System dann „intelligent“ ein eingehendes Rechnungslayout identifizieren, die richtige Vorlage selektieren und diese dann versuchen anhand dieser Vorlage die richtigen Felder zu finden.

Um es besser zu veranschaulichen, kann man sich auch vorstellen, dass ein*e Sachbearbeiter*in eine Folie über eine eingehende Rechnung eines Lieferanten legt, die Position der auszulesenden Felder mit Folienstift markiert und dann unter dem Namen des Lieferanten ablegt. Geht eine weitere Rechnung dieses Lieferanten ein, so wird die entsprechende Folie wieder genommen und über die neue Rechnung gelegt, damit man die auszulesenden Felder schneller und möglichst automatisiert auslesen kann.

Leider ändern sich die Layouts durch Verschiebung der Position beim Einfügen längerer Text, mehrerer Zeilen, Eingefügte Hinweise, Vermerke, neue Logos, etc. Trotz „smarter“ Vorlagen kann dieses System nicht alle Fälle immer abdecken und es kommt noch immer zu manuellen Aufwänden.

Firmen, die viele Lieferant*innen mit vielen unterschiedlichen Rechnungslayouts haben, müssen damit zusätzliche in eine selbsterstellte, umfangreiche Bibliothek von Vorlagen investieren, die auch gewartet werden muss.

Um diese Änderungen möglichst gut abfedern zu können, liegen die Stärken von solchen Systemen nicht immer in der Erkennung der Informationen sondern im Abgleich mit vorhandenen Informationen (Stammdaten und Bewegungsdaten eines Unternehmens). Diese Daten (z.B. Lieferantdatenbank oder Bestellungen aus dem ERP, etc. ) sind aber nicht immer vorhanden, unvollständig oder von schlechter Qualität oder stimmen nicht mit den Angaben des Lieferanten überein.

Positionsdaten einer Rechnung z.B. sind bei wenigen Lieferant*innen oftmals schon nicht mehr mit angemessenem Aufwand handhabbar.

2015: OCR beginnt Dokumente zu verstehen

2015 betrat die KI das OCR Spielfeld. Der Technologie Trend weg vom „Dokumente auswendig lernen“ (Vorlagen) zum „Dokumente verstehen“ (KI) begann. Die KI lernt nicht die Rechnung für jeden Lieferant auswendig sondern leitet (ähnlich wie der Mensch) allgemeingültige Muster für die Erkennung ab. Der Mensch erkennt ein Datum an der Art wie es geschrieben ist, wo es steht und an der visuellen Charakteristik. Und der Mensch kann das, weil er zuvor bereits viele Beispiele von Datumsformaten gesehen hat. Die Künstliche Intelligenz lernt ebenfalls anhand von Beispielen. Somit ist es möglich, dass man nur eine OCR KI für viele Kunden trainieren kann (Shared Intelligence). Alle Kunden tragen durch Beispiele dazu bei, dass die KI für alle Kunden besser wird.

Aktuelle KI OCR-Systeme können auch einzelne Sätze verstehen. Bedeutungen über mehrere Sätze hinweg ist aber auch für die gängigen KI und NLP Modelle (noch) eine Herausforderung.

Das Lernen von neuen Mustern kann nahtlos in den Prozess integriert werden und kann unbemerkt vo Sachbearbeiter*innen von statten gehen. Templates oder Vorlagen pro Lieferant sind nicht mehr notwendig.

Vorlagen-basiert oder DeepLearning?

Aufgrund der Eigenschaften der Systeme kann man grundlegend sagen, dass überall dort, wo starre Layouts (z.B. Formulare) oder ähnliche Dokumente vorkommen, die nur eine geringe Varianz bzgl. Layouts haben, vorlagen-basierte Systeme gut und verlässlich funktionieren und gegenüber KI keinen Nachteil haben.

Dort, wo die Layouts wenig standardisiert sind und sich daher in Art und Form stärker unterscheiden, hat Deep Learning und/oder die Künstliche Intelligenz klare Vorteile. All dies bezieht sich auf semi-strukturierte Dokumente. Bei Prosa oder Emails sollte man sich unbedingt KI-basiertes Systeme ansehen.

DeepLearning Modellen kann man auch vortrainieren. Dies bedeutet, dass man das System anhand von Beispieldaten des KI-Herstellers bereits auf ein sehr gutes Niveau gebracht hat. Dies gilt für bestimmte Dokumenttypen, die am Markt häufig vorkommen (Bestellungen, Rechnungen, Lieferscheine, etc.). Diese vortrainierten Modelle können bereits nach sehr kurzer Integrationszeit (System muss nicht antrainiert werden) in die eigenen Systeme nahtlos eingebettet werden. Verwendet der Hersteller auch noch ein Shared Intelligence Konzept (alle Unternehmen trainieren gemeinsam ein System) so erhält man eine sehr hohe Qualität.

Generell kann man sagen, dass ein vortrainiertes KI OCR System basierend auf Shared Intelligence für semi-strukturierte Dokumente z.B. Rechnungen, Lieferscheine, etc. sofort bessere Ergebnisse liefert wie ein gut gepflegtes Vorlagen-basiertes System. Nur die KI beginnt an diesem Punkt erst noch besser zu werden.  

Für individuelle Dokumente hat KI den Nachteil, dass man Beispiele benötigt, von denen die KI lernen kann. Sind diese Beispiele nicht vorhanden, so muss man auf synthetische Datengenerierung oder manuelles Erstellen von Beispielen (Annotieren von vorhandenen Dokumenten) zurückgreifen.

Das richtige OCR selektieren

Der wichtigste Schritt bei der Wahl der richtigen OCR ist die eigene Problemstellung zu evaluieren, um dann passend zum Problem die beste Lösung zu selektieren. Die folgenden Kriterien (auch als OCR sollte Ihnen dabei helfen, die eigene Situation richtig zu beurteilen, um dann das geeignete OCR selektieren zu können.

OCR-Leitfaden - Checkliste

• Dokument-Typ
  • Formular-ähnlich
  • Semi-strukturiert
    • Off-the-shelf Lösung:
    • Rechnung
    • Lieferschein
    • Bestellung
    • Andere:
  • Prosa
• Eingangskanäle: Foto, Scan, E-Mail, Online Portale, Fax
• Handschrifterkennung notwendig
• Bildformate: jpg, png, pdf, tiff
• Sprache
  • Wie ist die Verteilung der Sprachen bzw. gibt es eine Sprache, die dominiert
• Region
  • Haben die Dokumente auch eine indirekte Abhängigkeit zu einer Region oder einem Staat (z.B. bestimmte Regeln zur Mehrwertsteuer)
  • Wie ist die Verteilung der Region bzw. gibt es eine Region, die dominiert
• Anzahl der Dokumente
  • Sind in der Zukunft Änderungen geplant – z.B. durch Merge&Acquisition Tätigkeiten
  • Ist zu erwarten, dass das Volumen steigt, sinkt
    • Neue Regionen/Sprachen
  • Durchschnittliche Anzahl der Seiten pro Dokument
  • Erwartete Layout Vielfalt:
    • Jeder Sender eigenes Format
      • Anzahl der Sender
    • Starres, formular-basiertes Format
  • Benötigte Information aus den Dokumenten
    • Lassen Sie sich von der Fachabteilung für 3-10 Dokumente die benötigten Felder markieren
    • Haben die Felder einen eingeschränkten Wertebereich
  • Gibt es für diese Felder eine Referenz in ihren Stamm- oder Bewegungsdaten
• Beispiele vorhanden: Haben sie diese Daten bisher bereits manuell erfasst
• Trennung von Scan Stapeln notwendig
• Dokumenten Test-Set

Es ist wichtig ein repräsentatives Test-Set von Dokumenten zu definieren, mit dem Sie die Qualität des OCR messen bzw. prüfen können. Dieses Test-Set sollte das OCR System noch nie verarbeitet haben bzw. bei einem KI OCR sollte mit diesen Dokumenten nicht trainiert worden sein.

• Größe Test Set:

Damit es eine Aussagekraft hat muss es neben der Zufälligkeit vor allem auch eine Mindestgröße haben. Empfehlenswert wäre mind. 300 – je mehr desto besser. Ab 1000 Dokumente hat man eine gute Zuverlässigkeit.

• Integration:
  • In welches Zielsystem sollen die Daten des OCR Outputs integriert werden?
  • Gibt es einfache generische Schnittstellen, die eine problemlose Integration unterstützen?
  • Sind für ihr Zielsystem bereits Schnittstellen vorhanden?
  • Welche Stammdaten von ihren Systemen können zur Verfügung gestellt werden
• Betriebsform:
  • Cloud
  • OnPremise:
    • Ist Hardware mit GPU vorhanden?
  • Datenschutz Sicherheit der Daten
    • DSGVO: Beinhalten Dokumente personenbezogene Daten
    • Beinhalten Dokumente Daten spezieller Kategorie (lt. DSGVO)
    • Unterliegt ihre Branche speziellen Geheimhaltungspflichten (Banken, Versicherer, Steuerberater, etc.)
    • Zertifizierungen benötigt (e.g. ISO27001)
  • OCR Ziel definiert
    • Erkennungsraten und/oder Automatisierungsraten für Ihren Use case

Unterscheiden Sie bei Ihrer Checkliste vor allem auch Anforderungen, die Sie für einen Mehrwert unbedingt benötigen vs. Anforderungen die „nice-to-have“ sind.

Wenn Sie diese Checkliste bzw. OCR Leitfaden beherzigen, dann haben Sie die Basis und zugleich wichtigsten Schritt für eine erfolgreiche OCR System Auswahl gemacht.

OCR Checkliste zum Download

Schlüsselkriterien für das richtige OCR

Jeder OCR RFP bzw. OCR-Evaluierung hat natürlich individuelle Anforderungen. Die folgenden Punkte erläutern zusammenfassend die aus unserer Erfahrung wichtigsten Kriterien, die in jedem OCR Projekt essenziell sind (speziell auch bei KI OCR Lösungen):

Starre Dokumenten-Struktur oder Freiform: Wie bereits besprochen: Je mehr Freiheiten die Autoren der Dokumente in der Gestaltung sind desto eher KI und Deep Learning

Bildqualität bzw. großer Anteil an PDF/Text vorhanden: Je schlechter die Bildqualität desto eher DeepOCR

Komplexität Datenfelder: Welche Daten muss man extrahieren und wie komplex bzw. wieviel Freiform enthalten diese? (z.B. Einfache Tabelle vs. komplexe Tabelle)

Extraktion vs. Stammdaten: Was muss extrahiert werden vs. was kann man indirekt über Mapping aus den strukturierten Stammdaten oder Bewegungsdaten erfassen

Datenschutz: Entscheidet meist über OnPremise vs. Cloud

Beispieldaten für ein KI-Training vorhanden: Bei individuellen Projekten bzw. Dokumenten vereinfacht eine gute Datenbasis die Aufgabe erheblich.

 

Sollten Sie zum OCR-Leitfaden oder der Checkliste noch Fragen haben, dann kontaktieren Sie uns oder nutzen Sie den Online Termin Kalender.