Motif Technologies получит инвестиции Nvidia на разработку Motif 4

Предшественник в верхней части рейтинга

Motif 3 создана в рамках государственной программы по разработке национальных базовых моделей ИИ, которую курирует министерство науки и ИКТ. По данным компании, в августе модель набрала 47 баллов в индексе Artificial Analysis Intelligence Index, заняв 10-е место среди всех моделей и 4-е среди моделей с открытыми весами. В компании подчёркивают, что это лучший результат за пределами китайских и американских разработчиков и лучший среди южнокорейских участников программы.

Motif Technologies делает ставку на собственные архитектурные решения, в частности Group Differential Latent Attention (GDLA). Motif 3 была создана примерно за пять месяцев на 768 графических процессорах.

Упор на дообучение

В новой модели компания намерена развивать текущую архитектуру и усилить посттренинг и обучение с подкреплением (RL). При работе над Motif 3 из-за нехватки времени и вычислительных ресурсов эти этапы не удалось выполнить в полной мере. Теперь их хотят восполнить, чтобы повысить и качество модели, и её конкурентоспособность в реальном использовании.

Гендиректор Им Джонхван заявил, что в случае Motif 3 из-за сроков и ограниченных ресурсов не удалось полноценно провести посттренинг, включая RL. По его словам, теперь ресурсов достаточно, и компания вложит все силы, чтобы показать результат, сильный не только технически, но и полностью пригодный для использования и коммерции.