Osegi
AI·1 min czytania

Thinking Machines Lab prezentuje Inkling 2 Small z 594 mld parametrów

Thinking Machines Lab zaprezentowało Inkling 2 Small, model MoE z 594 mld parametrów i obsługą obrazów. Wagi na licencji Apache 2.0 mają trafić do sieci w kolejnym tygodniu.

Abstract illustration of a large neural network with expert modules lighting up, representing the Inkling 2 Small mixture-of-experts AI model.
Zdjęcie: BRIDGE

Thinking Machines Lab zaprezentowało 5 listopada drugą generację swojego modelu: Inkling 2 Small. To model typu Mixture-of-Experts (MoE) z 594 mld parametrów łącznie, z których podczas wnioskowania aktywnych jest 17 mld. Obsługuje obrazy na wejściu oraz funkcję „variable effort”, pozwalającą regulować nakład obliczeń przeznaczony na rozumowanie.

Na razie model jest dostępny w Tinker, platformie firmy do dostrajania i wnioskowania, bez publikacji wag. Po zewnętrznych testach bezpieczeństwa i red teamingu spółka planuje udostępnić wszystkie wagi na licencji Apache 2.0 w tygodniu następującym po premierze. Wraz z nimi pojawią się checkpointy do pobrania. Już teraz można testować model w Tinker Playground, a także używać go do dostrajania i samplingu w Tinker.

Architektura i wyniki

Zgodnie z kartą modelu Inkling 2 Small ma 48 warstw w układzie decoder-only, a dla każdego tokena wybiera 8 z 384 ekspertów. Obrazy koduje Vision Transformer, a maksymalny kontekst wynosi milion tokenów.

W indeksie Artificial Analysis Intelligence Index model uzyskał 31 punktów, wyraźnie więcej niż poprzednia generacja. Firma wskazuje na postępy w agentowym programowaniu, zadaniach wizualnych, pracy umysłowej i rozumowaniu, zwłaszcza w długotrwałej, samodzielnej pracy.

Łączenie zdolności wizualnych i agentowych pozwala modelowi przebudowywać strony internetowe, gry i projekty 3D, sprawdzając efekt na ekranie. Wśród przykładów są symulator miasta w Three.js z budynkami i samochodami generowanymi bez gotowych zasobów, emulator PC w Pythonie uruchamiający prawdziwe jądro Linuksa oraz film wykonany w Blenderze.

Jak trenowano model

W uczeniu ze wzmocnieniem wykorzystano setki tysięcy długich zadań programistycznych w wielu środowiskach uruchomieniowych agentów i metodach kompresji kontekstu. Oprócz wyników testów jednostkowych stosowano agentową ocenę sposobu podejścia do problemu. Wczesne checkpointy testowano w OpenCode pod nazwą „Fledge-Alpha”.

Thinking Machines Lab to firma badawczo-produktowa z obszaru AI, zrzeszająca naukowców i inżynierów związanych m.in. z ChatGPT, Character.ai i PyTorch.

Aplikacje warte uwagi

SUMO: łamigłówka liczbowa

Wybierz właściwe pola, dodaj je i trafiaj w cel. Łatwa do nauczenia, trudna do opanowania. Za darmo, dla każdego wieku.

Tagi:thinking machines labinkling 2 smallopen weightsmixture-of-expertstinker

Więcej z tego dnia

Zobacz wszystkie →

Więcej w kategorii: AI

Zobacz wszystkie →