MBZUAI, açık kaynaklı dünya simülasyonu modeli PAN 2'yi duyurdu

İki katmanlı akıl yürütme

PAN 2 iki düzeyi birleştiriyor. Kavramsal akıl yürütmede büyük bir dil modeli olayların ve eylemlerin sırasını, kamera hareketini ve her birinin beklenen zamanlamasını belirliyor. Algısal akıl yürütmede ise video üretimi için özel bir difüzyon modeli bu tanımları hareket ayrıntıları ve fiziksel etkileşimler içeren görüntülere dönüştürüyor.

Enstitü, video üretim modelini sıfırdan, görsel çekiciliğine göre değil içerdiği fiziksel dinamiklere göre seçilmiş gerçek videolarla eğittiğini belirtti. Model ayrıca, görsel sonucu yeniden oluşturmadan önce dünyanın iç temsilindeki değişimleri öngören GLP (örtük uzayda üretken tahmin) mimarisini kullanıyor.

Sonuçlar ve sınırlar

Enstitünün paylaştığı sonuçlara göre PAN 2, Physics-IQ Verified sıralamasında genel olarak üçüncü, açık ağırlıklı modeller arasında ise birinci oldu. Model, nedensel tutarlılık, varlıkların sürekliliği ve nesne dinamikleri gibi fiziksel zekanın altı boyutunu ölçen testlerde de ileri sonuçlar aldı; çok adımlı plan tamamlama testinde karşılaştırmaya dahil edilen diğer modellerin önüne geçti.

Enstitü, modelin eğitim verisinde bulunmayan senaryoları, örneğin yumurtanın farklı yüzeylere düşmesini, simüle edebildiğini söyledi. Üretilen sanal ortamlar, etkileşimli yapay zeka sistemlerinin keşif ve planlama eğitiminde kullanılabilir. Bununla birlikte uzun ve çok adımlı etkileşimlerde simüle edilen dünyanın tutarlılığını korumak hâlâ çözülmemiş bir araştırma sorunu.

PAN 2, Apache 2.0 lisansıyla; video modelinin ağırlıkları, eğitim ve çıkarım kodları ve teknik bir blog yazısıyla birlikte sunuluyor. Enstitünün Silikon Vadisi araştırma laboratuvarı müdürü Hector Liu, amacın araştırmacıların modelin yeteneklerini ve sınırlarını test edip geliştirebilmesi olduğunu vurguladı. Model enstitünün web sitesinden erişilebilir ve robotik ile eğitim gibi alanlardaki araştırma uygulamalarına uyarlanabiliyor.