Motif Technologies z inwestycją Nvidii: model Motif 4 ma celować w top 5

Poprzednik w czołówce rankingu

Motif 3 powstał w ramach rządowego programu budowy krajowych modeli bazowych, prowadzonego przez ministerstwo nauki i ICT. Według firmy w sierpniu uzyskał 47 punktów w indeksie Artificial Analysis Intelligence Index, co dało mu 10. miejsce wśród wszystkich modeli i 4. wśród modeli o otwartych wagach. Spółka podkreśla, że był to najwyższy wynik poza firmami z Chin i USA oraz najlepszy wśród krajowych uczestników programu.

Motif Technologies stawia na własne rozwiązania architektoniczne, w tym Group Differential Latent Attention (GDLA). Motif 3 powstał na 768 procesorach graficznych w około pięć miesięcy.

Nacisk na trening końcowy

W kolejnym modelu firma chce rozwinąć obecną architekturę oraz wzmocnić trening po wstępnym uczeniu, w tym uczenie ze wzmocnieniem (RL). Przy Motif 3 ograniczenia czasu i mocy obliczeniowej nie pozwoliły przeprowadzić tych etapów w pełni. Spółka liczy, że poprawi to zarówno wyniki, jak i użyteczność w praktyce.

Prosident spółki Im Jeong-hwan przyznał, że przy Motif 3 zabrakło czasu i zasobów na pełny trening końcowy. Jak zapowiedział, tym razem zasoby są wystarczające, więc firma włoży w projekt wszystko, by pokazać model wyróżniający się nie tylko technicznie, lecz także w pełni użyteczny i komercyjnie.