Tesseract 5 अब पढ़ेगा मानसी भाषा, OCR त्रुटियाँ 20 गुना घटीं
रूसी शोधकर्ताओं ने ओपन-सोर्स Tesseract 5 को मानसी प्रिंट के लिए फाइन-ट्यून किया। अक्षर-त्रुटि 18.5% से घटकर 0.85% रह गई; मॉडल Hugging Face पर मुफ़्त है।
रूस के यूगोर्स्क इंस्टीट्यूट ऑफ इन्फॉर्मेशन टेक्नोलॉजीज़ (ЮНИИИТ) ने ओपन-सोर्स OCR इंजन Tesseract 5 को मानसी भाषा के छपे पाठ के लिए फाइन-ट्यून किया है। टीम के अनुसार अक्षरों में त्रुटि की दर 18,5% से घटकर 0,85% रह गई, यानी करीब 20 गुना कम गलतियाँ। मॉडल Hugging Face पर सार्वजनिक रूप से उपलब्ध है और अभी इस्तेमाल किया जा सकता है।
मानक OCR क्यों नाकाम रहा
मानसी लिपि सिरिलिक पर आधारित है, लेकिन उसमें कुछ खास अक्षर हैं: मैक्रॉन (अक्षर के ऊपर रेखा) वाले दीर्घ स्वर जैसे а̄, о̄, ӯ, э̄, ы̄, और अक्षर ӈ, जो «ng» ध्वनि दर्शाता है। मानसी में स्वर की दीर्घता मायने रखती है, इसलिए मैक्रॉन छूटने से शब्द ही बदल सकता है। Tesseract का मानक रूसी मॉडल इन अक्षरों को नहीं पहचानता, रेखा गुम कर देता है और कभी-कभी अक्षर को बेतुके चिह्न में बदल देता है। मानसी पाठ पर वह हर 100 में लगभग 18 अक्षर गलत पढ़ता था।
दूसरी समस्या Unicode की है: मैक्रॉन वाला एक ही अक्षर कई तरह से दर्ज हो सकता है। इसे हल करने के लिए सभी पाठ NFC रूप में सामान्यीकृत किए गए।
सिंथेटिक डेटा से प्रशिक्षण
मानसी किताबों के स्कैन लगभग उपलब्ध नहीं हैं, इसलिए टीम ने प्रशिक्षण डेटा खुद बनाया। छपी और इलेक्ट्रॉनिक मानसी सामग्री के असली पाठ को कई दर्जन फ़ॉन्ट (FreeSerif, DejaVu Sans, Arial, Calibri, Times New Roman आदि), अलग-अलग आकार (12, 14, 24, 26 pt) और शैलियों में चित्र के रूप में रेंडर किया गया। मैक्रॉन वाले अक्षरों के बॉक्स सही बैठाने के लिए पिक्सेल-स्तर के सुधार जोड़े गए। कुल 1,3 मिलियन जोड़े बने, जिनमें हर एक में .tif चित्र और सही उत्तर वाली .gt.txt फ़ाइल है।
आधार के रूप में tessdata_best की आधिकारिक रूसी मॉडल rus.traineddata ली गई, ताकि मॉडल को मुख्यतः नए अक्षर सीखने पड़ें।
क्यों मायने रखता है
मानसी के अधिकतर पाठ अब भी सिर्फ़ कागज़ पर हैं: किताबें, पाठ्यपुस्तकें, लोककथा संग्रह, अख़बारों की फ़ाइलें। इन्हें डिजिटल बनाकर भाषा-कोश और अनुवाद मॉडल के प्रशिक्षण में जोड़ा जा सकता है, जबकि मूल वक्ताओं का सीमित समय अनुवाद और विशेषज्ञ जाँच के लिए बच सकता है। यह «मानसी भाषा कोश» परियोजना की श्रृंखला का दूसरा भाग है, जिसकी पहली कड़ी में 3 लाख समानांतर वाक्यों से रूसी-मानसी अनुवाद मॉडल बनाया गया था।
देखने लायक ऐप्स
SUMO: नंबर पज़लसही खाने चुनें, जोड़ें, लक्ष्य तक पहुँचें। सीखना आसान, महारत मुश्किल। मुफ़्त, हर उम्र के लिए।
Dialo: बोलकर भाषाएँ सीखेंAI बातचीत साथी से बात करें; हर वाक्य सुधरकर आपकी भाषा में समझाया हुआ लौटता है। 9 भाषाएँ, A1 से C2 तक।
ediviewer: EDI फ़ाइलें दस्तावेज़ की तरह पढ़ेंEDIFACT और X12 संदेश खोलें, हर सेगमेंट की व्याख्या देखें, JSON/XML में बदलें, PDF और Excel में निर्यात करें। स्थानीय रूप से चलता है, कोई अपलोड नहीं।
इसी दिन की और ख़बरें
सभी देखें →
CyberKord ने AI से IT और साइबर सुरक्षा ऑटोमेशन के लिए जुटाए €2.7 मिलियन
Nvidia समर्थित Cohere ने सिंगापुर में लॉन्च किया डिफेंस AI एक्सेलेरेटर
