Thinking Machines Lab prezentuje Inkling 2 Small z 594 mld parametrów
Thinking Machines Lab zaprezentowało Inkling 2 Small, model MoE z 594 mld parametrów i obsługą obrazów. Wagi na licencji Apache 2.0 mają trafić do sieci w kolejnym tygodniu.

Thinking Machines Lab zaprezentowało 5 listopada drugą generację swojego modelu: Inkling 2 Small. To model typu Mixture-of-Experts (MoE) z 594 mld parametrów łącznie, z których podczas wnioskowania aktywnych jest 17 mld. Obsługuje obrazy na wejściu oraz funkcję „variable effort”, pozwalającą regulować nakład obliczeń przeznaczony na rozumowanie.
Na razie model jest dostępny w Tinker, platformie firmy do dostrajania i wnioskowania, bez publikacji wag. Po zewnętrznych testach bezpieczeństwa i red teamingu spółka planuje udostępnić wszystkie wagi na licencji Apache 2.0 w tygodniu następującym po premierze. Wraz z nimi pojawią się checkpointy do pobrania. Już teraz można testować model w Tinker Playground, a także używać go do dostrajania i samplingu w Tinker.
Architektura i wyniki
Zgodnie z kartą modelu Inkling 2 Small ma 48 warstw w układzie decoder-only, a dla każdego tokena wybiera 8 z 384 ekspertów. Obrazy koduje Vision Transformer, a maksymalny kontekst wynosi milion tokenów.
W indeksie Artificial Analysis Intelligence Index model uzyskał 31 punktów, wyraźnie więcej niż poprzednia generacja. Firma wskazuje na postępy w agentowym programowaniu, zadaniach wizualnych, pracy umysłowej i rozumowaniu, zwłaszcza w długotrwałej, samodzielnej pracy.
Łączenie zdolności wizualnych i agentowych pozwala modelowi przebudowywać strony internetowe, gry i projekty 3D, sprawdzając efekt na ekranie. Wśród przykładów są symulator miasta w Three.js z budynkami i samochodami generowanymi bez gotowych zasobów, emulator PC w Pythonie uruchamiający prawdziwe jądro Linuksa oraz film wykonany w Blenderze.
Jak trenowano model
W uczeniu ze wzmocnieniem wykorzystano setki tysięcy długich zadań programistycznych w wielu środowiskach uruchomieniowych agentów i metodach kompresji kontekstu. Oprócz wyników testów jednostkowych stosowano agentową ocenę sposobu podejścia do problemu. Wczesne checkpointy testowano w OpenCode pod nazwą „Fledge-Alpha”.
Thinking Machines Lab to firma badawczo-produktowa z obszaru AI, zrzeszająca naukowców i inżynierów związanych m.in. z ChatGPT, Character.ai i PyTorch.
Aplikacje warte uwagi
Wybierz właściwe pola, dodaj je i trafiaj w cel. Łatwa do nauczenia, trudna do opanowania. Za darmo, dla każdego wieku.
Rozmawiaj z partnerem AI; każde zdanie wraca poprawione i wyjaśnione w Twoim języku. 9 języków, od A1 do C2.
Otwieraj komunikaty EDIFACT i X12, każdy segment objaśniony, konwersja do JSON/XML, eksport PDF i Excel. Działa lokalnie, bez wysyłania.
Wybierz dla kogo, okazję i osobowość. Wyszukiwarka czyta opisy produktów lokalnych sklepów i układa to, co pasuje. Za darmo, bez rejestracji.
Więcej z tego dnia
Zobacz wszystkie →
Edytor Rejestru w Windows 11 z WinUI 3 trafił do repozytorium Microsoftu

JRH ASI sfinansuje produkcję systemów radarowych w Ukrainie

Budimex testuje autonomiczne walce w cieniu braku kadr w budownictwie




