Osegi
AI·2 分で読めます

Thinking Machines、Inkling 2 Smallを公開 重みは近くApache 2.0で

Thinking Machines Labが第2世代モデル「Inkling 2 Small」を発表した。総パラメータ5,940億のMoEで、発表の翌週にApache 2.0で重みを公開する予定。

Abstract illustration of a large neural network with expert modules lighting up, representing the Inkling 2 Small mixture-of-experts AI model.
画像: BRIDGE

Thinking Machines Labは現地時間5日、第2世代のモデル「Inkling 2 Small」を発表した。総パラメータ5,940億、推論時に動くアクティブパラメータ170億のMoE(Mixture-of-Experts)モデルで、画像入力と、推論にかける労力を変えられる「variable effort」に対応する。

まずTinkerで提供、重みは翌週公開

当面は同社のファインチューニング・推論基盤「Tinker」で、重みを公開しない形で提供する。外部の安全性テストとレッドチーミングを終えた後、発表の翌週にApache 2.0ライセンスで重みをすべて公開する計画だ。公開に合わせてチェックポイントもダウンロードできるようにする。Tinker Playgroundで試せるほか、Tinker上でファインチューニングとサンプリングも行える。

モデルカードによると、構成は48層のdecoder-only。トークンごとに384のエキスパートから8つを選んで処理する。画像はVision Transformerで符号化し、コンテキスト長は最大100万トークンとなる。

性能と学習方法

Artificial Analysis Intelligence Indexでは31を記録し、前世代を大きく上回った。エージェント型コーディング、視覚、知識労働、推論が伸び、とくに長時間の自律作業が得意になったという。視覚とエージェントの能力を組み合わせ、見た目を確かめながらウェブサイトやゲーム、3Dデザインを作り直せる。作例として、建物や車まで生成したThree.js製の都市シミュレーター、実際のLinuxカーネルが起動するPython製PCエミュレーター、Blenderで作った映像を公開している。

学習では、複数のエージェント実行環境と文脈圧縮の方式にまたがる数十万の長時間コーディングタスクで強化学習を実施した。単体テストの結果に加え、問題への取り組み方を評価するエージェント型の採点も使った。初期のチェックポイントは「Fledge-Alpha」の名でOpenCode上で試験されていた。

注目のアプリ

SUMO:数字パズル

正しいマスを選んで足し算、目標の数に。覚えるのは簡単、極めるのは難しい。無料、全年齢向け。

Dialo:話して学ぶ語学アプリ

AIの会話パートナーと話すだけ。一文ごとに添削され、あなたの言語で解説が返ってきます。9言語、A1からC2まで。

タグ:thinking machines labinkling 2 smallopen weightsmixture-of-expertstinker

同じ日のニュース

すべて見る →

関連カテゴリ: AI

すべて見る →