Tesseract 5 apprend le mansi : les erreurs d'OCR divisées par 20

Pourquoi les OCR classiques échouent

Le mansi s'écrit en cyrillique, avec des signes supplémentaires : des voyelles longues surmontées d'un macron, comme а̄, о̄, ӯ, э̄ et ы̄, ainsi que la lettre ӈ pour le son « ng ». La longueur de la voyelle change le sens, et la perte d'un macron peut transformer un mot en un autre. Le modèle russe standard de Tesseract ignore ces caractères : il perd le trait ou produit du bruit, et se trompe sur environ 18 caractères sur 100. Autre difficulté : Unicode permet de coder la même lettre accentuée de plusieurs façons, identiques à l'écran mais différentes pour un modèle.

Des données d'entraînement synthétiques

Faute de livres mansis numérisés, l'équipe a généré ses propres données. Des scripts Python ont repris de vrais textes mansis issus de publications imprimées et électroniques, les ont normalisés en Unicode NFC, puis rendus dans plusieurs dizaines de polices, dont FreeSerif, DejaVu Sans, Arial, Calibri et Times New Roman, en plusieurs tailles et en graisses normale, grasse et italique.

Chaque caractère a aussi reçu un cadre de délimitation. Les métriques automatiques des polices se trompent souvent pour les lettres à diacritiques ; les chercheurs ont donc appliqué des corrections au pixel près selon le caractère, le corps et la police. Le résultat : 1,3 million de paires composées d'une image de ligne (.tif) et d'un fichier texte de référence (.gt.txt).

La base de départ est le modèle russe officiel rus.traineddata du dépôt tessdata_best. L'alphabet mansi recouvrant largement le russe, le réseau devait surtout apprendre les nouvelles lettres à macron et ӈ.