الذكاء الاصطناعي03‏/11‏/2026، 1:04 م UTC·2 دقائق قراءة

تدريب Tesseract 5 على لغة المانسي يخفض أخطاء OCR بنحو 20 مرة

درّب باحثون روس محرك Tesseract 5 المفتوح على النصوص المطبوعة بلغة المانسي، فانخفضت نسبة الأحرف الخاطئة من 18.5% إلى 0.85%. النموذج متاح مجانًا على Hugging Face.

Printed page of Mansi text with macron vowels being scanned and converted to digital text by OCR software. — الصورة: Хабр

SUMO

Dialo

ediviewer

درّب معهد يوغرا لتقنيات المعلومات (ЮНИИИТ) محرك التعرف الضوئي على الحروف المفتوح المصدر Tesseract 5 على قراءة النصوص المطبوعة بلغة المانسي. ووفق الفريق، انخفضت نسبة الأحرف الخاطئة من 18.5% إلى 0.85%، أي نحو 20 مرة. والنموذج متاح مجانًا على منصة Hugging Face.

لماذا يفشل OCR القياسي

تعتمد كتابة المانسي على الأبجدية السيريلية، لكنها تضم رموزًا خاصة: حروفًا متحركة طويلة بعلامة الماكرون مثل а̄ وо̄ وӯ وэ̄ وы̄، إضافة إلى الحرف ӈ الذي يمثل صوت «نغ». وطول الحرف المتحرك مهم في المانسي، لذلك قد يؤدي فقدان الماكرون إلى تحويل كلمة إلى أخرى. أما النموذج الروسي القياسي في Tesseract فلا يعرف هذه الرموز؛ إذ يُسقط الخط فوق الحرف وقد يحوّل الحرف إلى رمز عشوائي، ويخطئ في نحو 18 رمزًا من كل 100 في النص المانسي.

وثمة مشكلة أقل وضوحًا في Unicode: يمكن كتابة الحرف نفسه مع الماكرون بطرق مختلفة، إما برمز واحد جاهز أو بحرف عادي مع ماكرون منفصل. يراها القارئ متطابقة، لكنها بالنسبة للنموذج تسلسلان مختلفان.

بيانات اصطناعية بدل الصور الممسوحة

لا توجد مجموعة جاهزة من مسوحات المانسي بالحجم المطلوب، والتوسيم اليدوي سيستغرق سنوات. لذلك ولّد الفريق البيانات بنفسه: أخذ نصوصًا حقيقية من إصدارات مطبوعة وإلكترونية، وطبّعها وفق صيغة Unicode NFC، ثم رسمها بسكربتات Python. استُخدمت عشرات الخطوط، منها FreeSerif وDejaVu Sans وArial وCalibri وTimes New Roman، بأحجام 12 و14 و24 و26 نقطة وبأنماط عادية وعريضة ومائلة.

ووُضع إطار لكل رمز في ملفات box. ولأن الحسابات التلقائية تخطئ غالبًا في الماكرون البارز فوق السطر، أضاف الفريق تصحيحات على مستوى البكسل عبر ثلاثة قواميس: CHAR_OFFSETS وCHAR_SIZE وRATE. وبلغ الناتج 1.3 مليون زوج من الملفات: صورة السطر بصيغة .tif وملف .gt.txt يحوي النص الصحيح.

واعتمد الفريق نموذج rus.traineddata الروسي الرسمي من مستودع tessdata_best أساسًا، لأن أبجدية المانسي تتطابق تقريبًا مع الروسية، فيبقى على الشبكة تعلّم الحروف الجديدة. وكان المشروع قد جمع سابقًا 300 ألف جملة متوازية ودرّب مترجمًا عصبيًا بين الروسية والمانسي. ويهدف OCR إلى رقمنة الكتب والمناهج ومجموعات الفولكلور والصحف التي لا تزال ورقية في معظمها.