Motif Technologies : Nvidia investit dans le modèle Motif 4

Dans le sillage de Motif 3

Motif 4 succède à Motif 3, un modèle à poids ouverts dévoilé en août et développé dans le cadre du programme national de modèles de fondation souverains piloté par le ministère de la Science et des TIC. Selon l'entreprise, Motif 3 a obtenu 47 points à l'Artificial Analysis Intelligence Index en août, soit la 10e place tous modèles confondus et la 4e parmi les modèles à poids ouverts. Ce serait alors le meilleur classement hors Chine et États-Unis, et la meilleure note parmi les participants coréens au programme.

Motif met en avant ses architectures propres, dont la Group Differential Latent Attention (GDLA). Motif 3 a été conçu en cinq mois environ avec 768 GPU.

Davantage de post-entraînement et d'apprentissage par renforcement

Pour le prochain modèle, l'équipe compte perfectionner son architecture et renforcer le post-entraînement et l'apprentissage par renforcement (RL). Faute de temps et de ressources de calcul, ces phases n'avaient pas été menées à fond pour Motif 3 ; l'objectif est d'améliorer à la fois les performances et la valeur d'usage.

« Avec Motif 3, nous regrettions que les délais et les ressources ne nous aient pas permis un post-entraînement suffisant, notamment en RL », a déclaré le PDG Lim Jung-hwan. « Pour Motif 4, les ressources nécessaires sont réunies : nous allons tout donner pour présenter un résultat d'excellence technique, mais aussi pleinement utilisable et commercialisable. »

Avec Motif 4, l'entreprise veut démontrer sa compétitivité sur le marché mondial des modèles de pointe et s'ouvrir la voie de la commercialisation.