Thinking Machines Lab представила Inkling 2 Small на 594 млрд параметров

Архитектура и результаты

Согласно карточке модели, Inkling 2 Small — это 48-слойная decoder-only архитектура, где для каждого токена выбираются 8 из 384 экспертов. Изображения кодирует Vision Transformer, а максимальный контекст составляет 1 млн токенов.

В Artificial Analysis Intelligence Index модель набрала 31 балл, заметно опередив предыдущее поколение. Компания отмечает рост качества в агентном программировании, зрении, интеллектуальной работе и рассуждениях, особенно в длительной автономной работе.

Сочетание зрения и агентных навыков позволяет модели переделывать сайты, игры и 3D-дизайн, сверяясь с визуальным результатом. Среди примеров — симулятор города на Three.js со зданиями и машинами без готовых ассетов, PC-эмулятор на Python, запускающий настоящее ядро Linux, и видео, созданное в Blender.

Как обучали

При обучении с подкреплением использовали сотни тысяч длинных задач по программированию в разных средах выполнения агентов и с разными методами сжатия контекста. Помимо результатов юнит-тестов применялась агентная оценка того, как модель подходит к проблеме. Ранние чекпоинты тестировались в OpenCode под названием «Fledge-Alpha».

Thinking Machines Lab — компания, занимающаяся исследованиями и продуктами в области ИИ; в ней собраны учёные и инженеры, работавшие над ChatGPT, Character.ai и PyTorch.