Thinking Machines Lab, 594 milyar parametreli Inkling 2 Small'u tanıttı

Mimari ve performans

Model kartına göre Inkling 2 Small, 48 katmanlı decoder-only bir yapıya sahip ve her token için 384 uzmandan 8'ini seçiyor. Görseller Vision Transformer ile kodlanıyor, bağlam uzunluğu ise en fazla 1 milyon token.

Artificial Analysis Intelligence Index'te 31 puan alan model, önceki nesli belirgin biçimde geride bıraktı. Şirket; ajan tabanlı kodlama, görsel görevler, bilgi işçiliği ve akıl yürütmede ilerleme kaydedildiğini, özellikle uzun süreli otonom çalışmada başarının arttığını belirtiyor.

Görsel ve ajan yeteneklerinin birleşmesiyle model, sonucu gözüyle kontrol ederek web sitelerini, oyunları ve 3D tasarımları yeniden üretebiliyor. Örnekler arasında hazır varlık kullanmadan bina ve araç üreten bir Three.js şehir simülatörü, gerçek bir Linux çekirdeğini başlatan Python tabanlı bir PC emülatörü ve Blender ile hazırlanan videolar var.

Eğitim yöntemi

Eğitimde, birden fazla ajan çalışma ortamı ve bağlam sıkıştırma yöntemini kapsayan yüz binlerce uzun kodlama görevinde pekiştirmeli öğrenme kullanıldı. Birim testi sonuçlarının yanında, soruna yaklaşım biçimini değerlendiren ajan tabanlı puanlama da devreye girdi. İlk checkpoint'ler OpenCode üzerinde "Fledge-Alpha" adıyla denenmişti.

Thinking Machines Lab; ChatGPT, Character.ai ve PyTorch gibi projelerde çalışmış bilim insanı ve mühendisleri bir araya getiren bir yapay zekâ araştırma ve ürün şirketi.