Tesseract 5 liest Mansi: OCR-Fehlerrate sinkt von 18,5 auf 0,85 %
Das russische Institut YuNIIIT hat Tesseract 5 für gedrucktes Mansi nachtrainiert. Die Zeichenfehlerrate sinkt auf 0,85 Prozent, das Modell liegt auf Hugging Face.
SUMO· das Zahlenrätsel
Dialo· Sprachen lernen durch Sprechen
ediviewer· EDI-Dateien wie Dokumente lesenDas Ugra-Forschungsinstitut für Informationstechnologien (YuNIIIT) hat die Open-Source-Texterkennung Tesseract 5 für gedrucktes Mansi nachtrainiert. Die Zeichenfehlerrate fiel von 18,5 auf 0,85 Prozent, also etwa auf ein Zwanzigstel. Das Modell steht auf Hugging Face bereit und kann sofort genutzt werden.
Die Arbeit gehört zum Projekt „Korpus der Mansi-Sprache“. In der ersten Phase hatte das Team 300.000 parallele Sätze gesammelt und ein neuronales Netz für Übersetzungen zwischen Russisch und Mansi trainiert. Nun folgt die Texterkennung: Die meisten Mansi-Texte, darunter Bücher, Lehrwerke, Folklore-Sammlungen und Zeitungsbände, existieren nur auf Papier. Abtippen ist langsam und teuer, und die wenigen Muttersprachler sollen ihre Zeit lieber für Übersetzung und Fachprüfung einsetzen.
Warum Standard-OCR scheitert
Mansi nutzt kyrillische Schrift mit Zusatzzeichen: lange Vokale mit Makron wie а̄, о̄, ӯ, э̄ und ы̄ sowie den Buchstaben ӈ für den Laut „ng“. Die Vokallänge ist bedeutungsunterscheidend, ein verlorenes Makron kann ein Wort in ein anderes verwandeln. Das russische Standardmodell von Tesseract kennt diese Zeichen nicht, verliert den Strich oder erzeugt Unsinn und liest etwa 18 von 100 Zeichen falsch. Hinzu kommt: Unicode kann denselben Buchstaben auf mehrere Arten speichern. Für Menschen sieht das gleich aus, für ein Modell nicht.
Synthetische Trainingsdaten
Da kaum gescannte Mansi-Bücher existieren, erzeugte das Team die Daten selbst. Python-Skripte nahmen echte Mansi-Texte aus gedruckten und elektronischen Ausgaben, normalisierten sie nach Unicode NFC und renderten sie in mehreren Dutzend Schriftarten, darunter FreeSerif, DejaVu Sans, Arial, Calibri und Times New Roman, in mehreren Größen sowie normal, fett und kursiv.
Jedes Zeichen erhielt zusätzlich eine Begrenzungsbox. Weil automatische Schriftmetriken bei Buchstaben mit Diakritika oft danebenliegen, setzten die Forscher pixelgenaue Korrekturen je Zeichen, Schriftgröße und Schriftart ein. Heraus kamen 1,3 Millionen Paare aus Zeilenbild (.tif) und Textdatei mit der richtigen Lösung (.gt.txt).
Als Basis diente das offizielle russische Modell rus.traineddata aus dem Repository tessdata_best. Da das Mansi-Alphabet weitgehend dem russischen entspricht, musste das Netz vor allem die neuen Makron-Buchstaben und ӈ lernen.
Apps, die sich lohnen
SUMO: das ZahlenrätselTippe die richtigen Felder, addiere, triff das Ziel. Leicht zu lernen, schwer zu meistern. Kostenlos, für jedes Alter.
Dialo: Sprachen lernen durch SprechenSprich mit einem KI-Gesprächspartner; jeder Satz kommt korrigiert und in deiner Sprache erklärt zurück. 9 Sprachen, A1 bis C2.
ediviewer: EDI-Dateien wie Dokumente lesenEDIFACT- und X12-Nachrichten öffnen, jedes Segment verständlich erklärt, in JSON/XML umwandeln, als PDF und Excel exportieren. Läuft lokal, kein Upload.
Mehr von diesem Tag
Alle anzeigen →
CyberKord sammelt 2,7 Mio. € für KI-gestützte IT-Sicherheit ein
Nvidia-Partner Cohere startet Defense-KI-Accelerator in Singapur
