Sber ने Kandinsky Avatar 1.0 का कोड और वेट्स ओपन-सोर्स किए
Sber ने MIT लाइसेंस के तहत Kandinsky Avatar 1.0 का कोड और वेट्स जारी किए हैं। मॉडल तस्वीर और आवाज़ की रिकॉर्डिंग से बोलता हुआ एनिमेटेड किरदार बनाता है।
SUMO· नंबर पज़ल
Dialo· बोलकर भाषाएँ सीखें
ediviewer· EDI फ़ाइलें दस्तावेज़ की तरह पढ़ें
giftdetect· मिनटों में सही तोहफ़ाSber की डेवलपर टीम ने Kandinsky Avatar 1.0 पेश किया है। यह ऐसा मॉडल है, जो इनपुट के रूप में एक तस्वीर और भाषण की रिकॉर्डिंग लेता है और आउटपुट में बोलता हुआ एनिमेटेड किरदार तैयार करता है। मॉडल का कोड और वेट्स MIT लाइसेंस के तहत सार्वजनिक किए गए हैं।
क्या कर सकता है मॉडल
Kandinsky Avatar होंठों की गति को आवाज़ के साथ मिलाता है और चेहरे के भाव, हाव-भाव तथा सिर की हरकतें जोड़ता है। बोलने का अंदाज़ और ज़रूरी भावनाएँ टेक्स्ट प्रॉम्प्ट से तय की जा सकती हैं। अवतार के रूप में इंसान, कार्टून पात्र या जानवर, कुछ भी इस्तेमाल हो सकता है।
मॉडल को Kandinsky 5.0 Video के आधार पर प्रशिक्षित किया गया। इसके लिए 11.7 लाख वीडियो क्लिप इस्तेमाल हुईं, जिनमें फ्रेम में एक ही व्यक्ति बोलता है। डेटासेट में 95 भाषाओं की सामग्री शामिल है।
दो संस्करण और हार्डवेयर
दो मॉडल उपलब्ध हैं: 2 अरब पैरामीटर वाला Lite, जो SD वीडियो बनाता है, और 21 अरब पैरामीटर वाला Pro, जो HD वीडियो बनाता है। SD के लिए 48 GB और HD के लिए 80 GB मेमोरी वाले Nvidia GPU की सिफ़ारिश की गई है। फ्रेम को हिस्सों में डिकोड करने पर पीक मेमोरी खपत 28 GB तक घट सकती है, लेकिन तब वीडियो में हिस्सों के बीच की सीमाएँ दिख सकती हैं।
Sber के अनुसार, Kandinsky Avatar 1.0 Pro की तुलना अग्रणी ओपन और प्रोप्राइटरी मॉडलों से ब्लाइंड टेस्ट में की गई। प्रतिभागियों ने जोड़ियों में वीडियो देखे, सात मानदंडों पर आँके और बिना मॉडल का नाम जाने बेहतर चुना। Kandinsky के वीडियो Kling Avatar 2 के मुकाबले 63%, LongCat-Avatar-1.5 के मुकाबले 60% और HeyGen IV के मुकाबले 54% मामलों में चुने गए।
Sber के डेटा रिसर्च के प्रबंध निदेशक डेनिस दिमित्रोव के मुताबिक, वीडियो अवतार से प्रशिक्षण और विज्ञापन वीडियो, निर्देश वीडियो और ग्राहकों के लिए व्यक्तिगत संदेश बनाए जा सकते हैं। कंपनी चाहती है कि रूसी डेवलपर्स के पास अपनी तकनीकी बुनियाद हो, जिसे वे अपने उत्पादों में जोड़ सकें और ज़रूरत के अनुसार फाइन-ट्यून कर सकें।
कोड और वेट्स GitHub, GitVerse और Hugging Face पर मुफ़्त उपलब्ध हैं। मॉडल को आगे ComfyUI और Diffusers में भी इस्तेमाल किया जा सकेगा। Sber समुदाय की प्रतिक्रिया को Kandinsky के अगले संस्करणों और अपनी सेवाओं में वीडियो अवतार लाने में इस्तेमाल करेगा।
देखने लायक ऐप्स
SUMO: नंबर पज़लसही खाने चुनें, जोड़ें, लक्ष्य तक पहुँचें। सीखना आसान, महारत मुश्किल। मुफ़्त, हर उम्र के लिए।
Dialo: बोलकर भाषाएँ सीखेंAI बातचीत साथी से बात करें; हर वाक्य सुधरकर आपकी भाषा में समझाया हुआ लौटता है। 9 भाषाएँ, A1 से C2 तक।
ediviewer: EDI फ़ाइलें दस्तावेज़ की तरह पढ़ेंEDIFACT और X12 संदेश खोलें, हर सेगमेंट की व्याख्या देखें, JSON/XML में बदलें, PDF और Excel में निर्यात करें। स्थानीय रूप से चलता है, कोई अपलोड नहीं।
giftdetect: मिनटों में सही तोहफ़ाचुनें किसके लिए, किस मौके पर और कैसा स्वभाव। सर्च इंजन स्थानीय दुकानों के उत्पाद विवरण पढ़कर सबसे उपयुक्त विकल्प ऊपर रखता है। मुफ़्त, बिना साइन-अप।
इसी दिन की और ख़बरें
सभी देखें →
ASKUL अब ChatGPT प्लगइन से, चैट में खोजें बिज़नेस प्रोडक्ट
Google ने 13 लाख Android TV बॉक्स में XCPE बैकडोर किया बेअसर
Bic Camera Group के 1.49 करोड़ ईमेल पते लीक होने की आशंका
