OCR-Texterkennung mit/ohne Deep-Learning im Vergleich

Ziel des Tests der OCR-Texterkennung

Aus diesem Grund haben wir im Mai 2022 eine kleine aber feine Auswahl an Texterkennungs-Tools miteinander verglichen. Das Ziel war dabei eine Indikation zu bekommen, ob sich am Markt im Bereich Deep Learning aus qualitativer Seite etwas bewegt. Dabei wurde ein Benchmark von Ziffern und Zahlen angelegt: 89 Zahlen bestehend aus 570 Zeichen im Benchmark wurden dabei als Ground Truth verwendet.

Hinweis: Zahlen wurden verwendet, da man diese im Folgeprozess eines iOCR nicht oder nur selten korrigieren kann. Kippt evtl. der eine oder andere Buchstabe bei der Erkennung, so kann man über „Ähnlichkeiten“ wieder auf das korrekte Wort Rückschlüsse ziehen (z.B. auch über NLP Modelle), was bei Zahlen nicht möglich ist.

Die Messung (Benchmark Setup)

Im Benchmark vertreten waren ca. 66% Zahlen aus Dokumenten mit guter und ca. 33% mit schlechter Bildqualität. Alle Daten stammten von Original-Rechnungen und Kassenbelegen wie sie am Markt immer wieder vorkommen. Es war kein rein zufällig gezogenes Sample sondern hatte im Vergleich zu üblichen Rechnungen und Kassabelegen einen Bias in Richtung schlechter Bildqualität. Die Produkte wurden off-the-shelf getestet und es wurde kein Training vorgenommen.

Die Messungen erfolgten über 2 Indikatoren:

• Exact Match: Die Zahl muss exakt mit der Ground Truth übereinstimmen.
• Levenshtein Distance: Wie ähnlich sind sich die erkannten Werte; dient als Messung für Qualität der einzelnen Zeichen

Wir möchten darauf hinweisen, dass es viele Kriterien gibt, die eine Beurteilung begründen. In unserem Fall war es ausschließlich die Erkennungsrate bei Zahlen bzw. Ziffern.

Die Ergebnisse:

Tool	Exakt	Levenshtein
Google OCR	92%	95,70%
Paddle OCR V2.5	64%	92,26%
AbbyyFineReader15	71%	86,47%
Omnipage Ultimate V19.2	62%	82%
Tesseract 5 OCR	57%	73%
OCR.space	50%	74%
Onlineocr.net	42%	69%

Unser Fazit zur OCR-Texterkennung

Dass Google in den letzten Jahren durch neueste KI-Architekturen zum qualitativen Marktführer der Online-OCR aufgestiegen ist, ist kein Geheimnis. Aber für den Use Case Geschäftsdokumente und Scan scheint ein echter OpenSource-Herausforderer aus Asien zu entstehen - PaddleOCR. 

Auffällig ist, dass beide (Google und Paddle) DeepLearning (DeepOCR) einsetzen und bei schlechter Bildqualität augenscheinlich viel besser waren als die Konkurrenz. Google als auch Paddle dürften durch DeepLearning und Daten hier in sehr kurzer Zeit viel erreicht haben. Paddle kann man dazu auch noch mit eigenen Daten trainieren und entsprechend verbessern. Es ist anzunehmen, dass Paddle mit Training eine ähnliche Performance wie Google erreichen kann.

Weitere Anmerkungen zum Test:

• MMOCR wäre ebenfalls ein Open-Source-Kandidat gewesen, jedoch konnte hier unser Format nicht gelesen werden.
• PaddleOCR hatte einen Bug, den wir vorher korrigiert haben, bevor wir die Ergebnisse nutzen konnten (1 Leerzeichen nach jedem Komma).

Die Texterkennung hat im Bereich intelligentes OCR durch NLP etwas an Bedeutung verloren, stellt aber die Basis für jede KI zur Erkennung der Semantik im Folgeprozess dar. Eine nachgeschaltete KI-Architektur nutzt dabei die erkannten Zeichen, um diese auf Wörter, Sätze und Bedeutung abzubilden. Ein transparentes Feedback aus der Oberfläche des Kunden zurück zum KI-System führt dabei zu einem bleibenden Lerneffekt (siehe auch BLU DELTA Shared Intelligence Konzept).

Update!

DeepOCR: PaddleOCR, MMOCR und EasyOCR im Vergleich

Im ersten Teil des Artikels haben wir traditionelle OCR-Technologien mit DeepOCR verglichen. In diesem Abschnitt wollen wir nun im Detail die Performance von drei bekannten DeepOCR Open Souce Alternativen etwas genauer unter die Lupe nehmen.

Die Eckdaten der Kandidaten

• Paddle OCR v0.6.1
  • License: Apache License 2.0
  • Supported Languages (pre-trained): 80(+)
  • URL: https://github.com/PaddlePaddle/PaddleOCR
• MM OCR v2.5.0.3
  • License: Apache License 2.0
  • Supported Languages (pre-trained): Chinese, English
  • URL: https://github.com/open-mmlab/mmocr
• Easy OCR v1.5.0
  • License: Apache License 2.0
  • Supported Languages (pre-trained): 80(+)
  • URL: https://github.com/JaidedAI/EasyOCR

Der Benchmark

Um ein repräsentatives Sample zu bekommen, haben wir aus unserem Dokumentenfundus 400 reale Rechnungen zufällig ausgewählt und daraus alle verfügbaren Text Labels mit ihren Bounding Boxen extrahiert. Die Rechnungsdokumente haben wir stark „geblurrt“, sodass ausgenommen von der Label Bounding Box nichts mehr lesbar war. Somit erhielten wir eine Groundtruth mit 2326 Bilder mit je einem Klartext Label.

Abb.: Beispiel Dokument mit Label Dokumentendatum

Das DeepOCR Ergebnis:

Nach unserem ersten Test mit Ziffern und Zahlen – wo Paddle mit seiner Accuracy herausragend war – hätten wir uns hier auch Paddle als Sieger erwartet. Jedoch hat Paddle speziell bei Sonderzeichen, Punkten und Kommas Schwächen gezeigt. Überraschend war auch, dass Paddle mit GPU relative wenig schneller wurde.

MMOCR, welches neben Chinesisch nur Englisch untesrtützt, muss man eigentlich außer Konkurrenz werten. Unser Becnhmark Set bestand vorrangig aus europäischen Rechnungen und hier mit einem Schwerpunkt Deutsch. Zusätzlich erkannte MMOCR Großbuchstaben nicht out-of-the-box.

Easy OCR hat uns positiv überrascht und geht für unseren Use Case als klarer Gewinner hervor so lange man eine GPU bei der Inference einsetzen kann. Der große Vorteil ist natürlich, dass man diese OCR noch entsprechend für eine verbesserte Text Erkennung und Texterfassung trainieren kann.

Will man sich den Trainingsaufwand ersparen, dann empfiehlt sich EasyOCR mit GPU.