Sarvam AI、決定特化モデル「Prism」を公開

文章を生成しない仕組み

一般的なLLMは文章を生成するため、その出力を別のソフトウェアが解釈する必要があり、処理時間やコストの増加、結果のばらつきにつながる。決定モデルは、情報と質問、あらかじめ決めた回答候補を受け取り、各候補の確率を返す。Prismは全候補を1回の処理で評価する。

Sarvamは選択肢の並び順が判断に影響するかも検証した。固定の順序付けを適用した場合、2,000問で一貫した結果が得られたという。また、試験した信頼度の閾値では、インド諸言語を含め、観測された誤り率が予測値を下回ったと説明している。

重みはApache 2.0ライセンスで公開され、開発者は自社のインフラで調整・運用できる。APIでも利用可能だ。想定用途は、カスタマーサポートの振り分け、文書インテリジェンス、セキュリティチェック、プロンプトインジェクション検出、AIエージェントの動作評価などである。

競合と課題

インドではConvAI InnovationsのLayaやPurpleTalk傘下Sthānika AIのSieveがすでにあり、Articul8もBiviaを手掛ける。海外ではMicrosoftやPerplexityも同種のモデルを出している。

数値は同社の発表によるものだ。開発者のSandipan Kundu氏はXで、44ミリ秒という中央値が実環境を反映しているか疑問を呈し、自身の検証ではp95レイテンシが420ミリ秒だったと述べた。モデル規模に伴う自社運用コストも指摘している。実運用での性能を見極めるには、第三者による検証が欠かせない。