Motif Technologies привлекла мостовой раунд на Motif 4, Nvidia войдёт

Motif 4 выйдет с открытыми весами

Motif 4 станет преемником Motif 3, представленной в августе. Релиз с открытыми весами (open-weight) запланирован на первый квартал следующего года. При таком подходе веса обученной модели публикуются, и любой желающий может скачать, использовать и изменять её. Цель компании — войти с Motif 4 в пятёрку лучших моделей мира.

Motif 3 создавалась в рамках государственной программы «независимых базовых ИИ-моделей» Министерства науки и ИКТ. По данным компании, в августе модель набрала 47 баллов в сводном индексе интеллекта оценочной организации Artificial Analysis, заняв 10-е место среди всех моделей и 4-е среди моделей с открытыми весами. Среди моделей, не считая американских и китайских, это был лучший результат. Motif утверждает, что благодаря собственной архитектуре, включая Group Differential Latent Attention (GDLA), модель разработана за пять месяцев на 768 GPU.

Упор на пост-обучение

Из-за нехватки времени и ресурсов Motif 3 не прошла полноценное пост-обучение, например обучение с подкреплением (RL). Этот этап доводит предобученную модель до практического использования. Привлечённые средства компания направит на усиление пост-обучения Motif 4, чтобы повысить удобство применения и коммерческий потенциал.

Генеральный директор Им Чжон Хван, доктор математики Оксфордского университета, заявил, что в жёсткой глобальной конкуренции выживут те, кто отличается на каждом этапе — от архитектуры до пост-обучения. По его словам, Motif 4 должна сочетать техническое превосходство с удобством и коммерческой пригодностью.