Osegi
AI·2 分で読めます

Nota、Solar Open 2の稼働GPUを8枚から2枚に削減

AI最適化企業のNotaは、UpstageのSolar Open 2を軽量化し、H100 GPU 2枚で動かせるようにした。メモリは76.5%減った。

Rows of GPU servers in an AI data center, illustrating efforts to run large AI models on fewer chips and less power.
画像: zdnet.co.kr

AIモデル最適化企業のNotaは9日、超大規模AIモデルの稼働に必要なGPUを8枚から2枚に減らす技術を確保したと発表した。Upstageの2500億パラメータモデル「Solar Open 2」を軽量化し、必要なNvidia H100 GPUを従来の8枚から2枚にしたという。

モデルの重みの保存に必要なメモリは500.6GBから117.8GBへと76.5%減少した。演算精度を下げる量子化と、重要度の低い演算モジュールを取り除く枝刈りを適用し、性能低下を抑えながらメモリ使用量を削減したと説明している。

Kimi K3にも適用

中国Moonshot AIの「Kimi K3」にも同じ技術を使った。総パラメータ数2兆8000億個の同モデルは、従来Nvidia B300 GPUが8枚必要だった。Notaは一部の演算モジュールを削除し、GPU 6枚と4枚でそれぞれ動作する軽量版2種を開発した。Kimi K3は必要なモジュールだけを選んで使う専門家混合(MoE)構造で、各モジュールの重要度を分析し、貢献度の低い部分を除いたという。

また、実行時の消費エネルギーを減らす技術も開発している。AMDの「Ryzen AI Max+ 395」環境でAlibabaの「Qwen3 8B」を対象に推論最適化を試し、GPUとNPUに処理を分担させて、従来のAMDハイブリッド実行よりトークン当たりのエネルギー消費を31%削減した。応答完了までの時間も最大52%短縮したとしている。

データセンターへの懸念

背景には、データセンターの電力と水の使用への懸念がある。米ギャラップが3月に行った調査では、米国の成人の約70%が居住地域でのAIデータセンター建設に反対した。ローレンス・バークレー国立研究所は、2030年にデータセンターが米国の総電力使用量の11.8%を占めると推計している。

Notaは自社プラットフォーム「NetsPresso」を軸に、半導体企業へソフトウェアライセンスとモデル最適化技術を供給している。今後はGPUに加え、CPUやNPUなど多様な半導体で効率的にAIを動かせるよう技術を高度化する計画だ。キム・テホCTOは、顧客の計算効率を高める事業を拡大すると述べた。

注目のアプリ

SUMO:数字パズル

正しいマスを選んで足し算、目標の数に。覚えるのは簡単、極めるのは難しい。無料、全年齢向け。

Dialo:話して学ぶ語学アプリ

AIの会話パートナーと話すだけ。一文ごとに添削され、あなたの言語で解説が返ってきます。9言語、A1からC2まで。

タグ:notaupstagesolar open 2model compressiongpudata centers

同じ日のニュース

すべて見る →

関連カテゴリ: AI

すべて見る →