Motif Technologies pozyskuje rundę pomostową na model Motif 4

Motif 4 w modelu open-weight

Motif 4 jest następcą modelu Motif 3, zaprezentowanego w sierpniu. Premiera ma nastąpić w pierwszym kwartale przyszłego roku w formule open-weight, czyli z udostępnieniem wag wytrenowanego modelu, które każdy może pobrać, używać i modyfikować. Spółka deklaruje, że chce znaleźć się z nowym modelem w światowej piątce najlepszych.

Motif 3 powstał w ramach rządowego programu „niezależnych modeli bazowych AI” prowadzonego przez ministerstwo nauki i ICT. Według firmy w sierpniu uzyskał 47 punktów w ogólnym wskaźniku inteligencji instytucji Artificial Analysis. Dało to 10. miejsce wśród wszystkich modeli i 4. wśród modeli open-weight, a po wyłączeniu modeli firm z USA i Chin – najwyższą pozycję. Motif podaje, że dzięki własnej architekturze, m.in. Group Differential Latent Attention (GDLA), stworzył model w pięć miesięcy na 768 GPU.

Nacisk na post-training

Ze względu na ograniczony czas i zasoby Motif 3 nie przeszedł pełnego post-trainingu, np. uczenia przez wzmacnianie (RL). Ten etap dopracowuje wstępnie wytrenowany model pod kątem praktycznego użycia. Nowe środki mają pozwolić wzmocnić go w Motif 4 i poprawić użyteczność oraz potencjał komercyjny.

Dyrektor generalny Im Jeong-hwan, doktor matematyki z Uniwersytetu Oksfordzkiego, powiedział, że w ostrej globalnej konkurencji przetrwają tylko ci, którzy wyróżnią się na każdym etapie, od architektury po post-training. Dodał, że Motif 4 ma łączyć doskonałość techniczną z użytecznością i wartością komercyjną.