AI3 lis 2026, 13:04 UTC·2 min czytania

Tesseract 5 nauczony mansyjskiego: błędy OCR spadły 20-krotnie

Rosyjscy badacze dotrenowali otwarty silnik Tesseract 5 do mansyjskiego druku. Odsetek błędnych znaków spadł z 18,5% do 0,85%, a model jest darmowy na Hugging Face.

Printed page of Mansi text with macron vowels being scanned and converted to digital text by OCR software. — Zdjęcie: Хабр

SUMO

Dialo

ediviewer

Югорский НИИ информационных технологий (ЮНИИИТ) dotrenował otwarty silnik OCR Tesseract 5 do rozpoznawania drukowanego tekstu w języku mansyjskim. Według autorów odsetek błędnych znaków spadł z 18,5% do 0,85%, czyli około 20 razy. Model jest dostępny za darmo na platformie Hugging Face.

Dlaczego standardowy OCR zawodzi

Pismo mansyjskie opiera się na cyrylicy, ale ma własne znaki: długie samogłoski z makronem, takie jak а̄, о̄, ӯ, э̄ i ы̄, oraz literę ӈ oznaczającą dźwięk „ng”. Długość samogłoski bywa w mansyjskim znacząca, więc utrata makronu może zmienić słowo. Standardowy rosyjski model Tesseract tych znaków nie zna: gubi kreskę nad literą, a czasem zamienia znak w „śmieci”. Na tekście mansyjskim myli się w około 18 znakach na 100.

Dodatkowy kłopot to Unicode. Tę samą literę z makronem można zapisać na kilka sposobów, np. jako jeden znak lub jako zwykłą literę plus osobny makron łączony. Dla człowieka wyglądają tak samo, dla modelu to różne ciągi.

Dane syntetyczne zamiast skanów

Gotowego zbioru mansyjskich skanów nie ma, a ręczne opisywanie trwałoby latami. Zespół wygenerował więc dane sam: wziął prawdziwe teksty z wydań drukowanych i elektronicznych, znormalizował je do postaci Unicode NFC i wyrenderował skryptami w Pythonie. Użyto kilkudziesięciu krojów, w tym FreeSerif, DejaVu Sans, Arial, Calibri i Times New Roman, w kilku rozmiarach (12, 14, 24 i 26 pt) oraz stylach: zwykłym, pogrubionym i kursywie.

Każdy znak oznaczono ramką w plikach box. Ponieważ automatyczne obliczenia często błędnie obejmują makron wystający ponad linię, autorzy wprowadzili poprawki piksel po pikselu w trzech słownikach: CHAR_OFFSETS, CHAR_SIZE i RATE. W sumie powstało 1,3 mln par plików: obraz wiersza w formacie .tif i plik .gt.txt z poprawnym tekstem.

Bazą była oficjalna rosyjska model rus.traineddata z repozytorium tessdata_best, ponieważ alfabet mansyjski w większości pokrywa się z rosyjskim i sieć musi opanować głównie nowe litery. Wcześniej zespół zbudował korpus 300 tys. równoległych zdań i wytrenował sieć tłumaczącą między rosyjskim a mansyjskim. OCR ma umożliwić cyfryzację książek, podręczników, zbiorów folkloru i gazet, które istnieją głównie na papierze, i włączenie ich do korpusu.