MBZUAI、世界シミュレーションモデル「PAN 2」を公開
アブダビのMBZUAIが、行動の結果を動画で予測するオープンソースモデル「PAN 2」を公開した。AIが実行前に計画を立てる用途を想定する。
アブダビのモハメド・ビン・ザイド人工知能大学(MBZUAI)の基盤モデル研究所は、オープンソースの世界シミュレーションモデル「PAN 2」を公開した。AIシステムが直接の体験だけに頼らず、視覚的なシミュレーションで行動の結果を予測し、計画できるようにすることが狙いだ。
大学の発表によると、モデルは初期シーンと行動を説明するテキストを受け取り、その後に起こりうる展開を動画として生成する。予測は、モデルが学習した物理的・時間的・空間的な関係に基づく。研究者はこの仕組みを「シミュレーションによる推論」と呼び、現実世界で実行する前に仮想のシナリオを試せるとしている。
二段階の推論構造
PAN 2は二つの推論を組み合わせる。一つは概念的推論で、大規模言語モデルが出来事や行動の順序、カメラの動き、それぞれの想定タイミングを決める。もう一つは知覚的推論で、動画生成用の拡散モデルがその記述を、動きや物理的相互作用を含む映像に変換する。
研究所によれば、動画生成モデルはゼロから学習し、見た目の魅力ではなく物理的なダイナミクスを基準に選んだ実写映像を使った。また、世界の内部表現の変化を予測してから映像を再構成する「GLP(生成的潜在予測)」アーキテクチャを採用している。
評価結果と課題
研究所の示した結果では、PAN 2は「Physics-IQ Verified」リーダーボードで総合3位、オープンウェイトモデルでは1位だった。因果的一貫性や物体の持続性など物理知能の6つの観点でも高い成績を収め、多段階の計画完遂テストでは比較対象の他モデルを上回ったという。一方で、長く多段階にわたる対話で、シミュレーションした世界の一貫性を保つことは依然として研究課題だと認めている。
モデルはApache 2.0ライセンスで公開され、動画モデルの重み、学習・推論用コード、技術ブログが含まれる。同研究所シリコンバレー研究室のヘクター・リュー所長は、研究者がモデルの能力と限界を検証し発展させられるようにするためだと述べた。モデルは同研究所のウェブサイトから利用でき、ロボティクスや教育などの研究用途に適応できる。
注目のアプリ
SUMO：数字パズル正しいマスを選んで足し算、目標の数に。覚えるのは簡単、極めるのは難しい。無料、全年齢向け。
Dialo：話して学ぶ語学アプリAIの会話パートナーと話すだけ。一文ごとに添削され、あなたの言語で解説が返ってきます。9言語、A1からC2まで。
ediviewer：EDIファイルを文書のように読むEDIFACTやX12メッセージを開き、各セグメントの意味を表示。JSON/XML変換、PDF・Excel出力。ローカルで動作、アップロード不要。
giftdetect：数分でぴったりの贈り物相手、シーン、性格を選ぶだけ。検索エンジンが地元ショップの商品説明を読み、合うものを並べます。無料、登録不要。
