AI2026/11/03 13:04 UTC·2 分で読めます

Tesseract 5をマンシ語向けに調整、OCR誤りを約20分の1に

ロシアの研究チームがオープンソースのTesseract 5をマンシ語の印刷文字向けに調整し、文字誤り率を18.5%から0.85%に低減。モデルはHugging Faceで無料公開。

Printed page of Mansi text with macron vowels being scanned and converted to digital text by OCR software. — 画像: Хабр

SUMO：数字パズル

Dialo：話して学ぶ語学アプリ

ediviewer：EDIファイルを文書のように読む

ロシアのユグラ情報技術研究所(ЮНИИИТ)は、オープンソースのOCRエンジン「Tesseract 5」をマンシ語の印刷文字向けに追加学習させ、文字誤り率を18.5%から0.85%へ下げたと発表した。誤りは約20分の1になった計算だ。モデルはHugging Faceで公開されており、すでに利用できる。

標準モデルが苦手な文字

マンシ語の表記はキリル文字を基にしているが、а̄、о̄、ӯ、э̄、ы̄といった長母音を示すマクロン付き文字や、「ng」音を表すӈなど独自の文字がある。母音の長さは意味に関わるため、マクロンが落ちると別の語になりかねない。Tesseractの標準ロシア語モデルはこれらを認識できず、マクロンを落としたり別の文字に誤認したりして、マンシ語の文章では100文字中約18文字を誤っていた。

さらに、マクロン付きの同じ文字がUnicode上で複数の方法で表せる問題があり、全テキストをNFCに正規化して対処した。

合成データで学習

マンシ語のスキャン画像はほとんど存在しない。そこでチームは、印刷物と電子資料から集めた実際のテキストを、FreeSerif、DejaVu Sans、Arial、Calibri、Times New Romanなど数十種類のフォント、12・14・24・26ptのサイズ、標準・太字・斜体で画像化した。マクロン付き文字の枠は、ピクセル単位の補正で正確に合わせた。生成されたのは.tif画像と正解の.gt.txtのペア計130万組。ベースにはtessdata_bestの公式ロシア語モデルrus.traineddataを使い、新しい文字の習得に集中させた。

意義

マンシ語の文献の多くは今も紙の書籍、教科書、民話集、新聞の綴じ込みにしかない。OCRで電子化すれば、コーパスや翻訳モデルの学習データに加えられ、話者の限られた時間を翻訳や専門的な確認に充てられる。本件は「マンシ語コーパス」プロジェクトの連載第2弾で、前回は30万組の対訳文からロシア語・マンシ語の翻訳モデルを作った。