AMD、完全公開のMoE型AI Instella-MoEを発表

結論

AMDは8月1日、重みと学習データ、設定、推論コードまですべてを公開したモデルInstella-MoEを発表した。自社のInstinct MI300XとMI325XのGPUだけで一から学習し、完全公開モデルの中では最高水準の精度を示したとしている。AIの基盤モデルはNVIDIAのGPUで作られるのが通例だったが、別の選択肢が育っていることを示す動きだ。ただし公開されたライセンスは研究用途に限られ、そのままでは商用利用できない点に注意がいる。自社でモデルを持ちたい企業にとって、将来の選択肢を見極める材料になる。

何が起きたか

Instella-MoEは、全体で16億を超える規模を持ちながら、入力ごとに動くのは2.8億分に絞られる構造をとる。必要な部分だけを計算するため、規模のわりに動作の負荷が軽い。ゲート付きの注意機構やFarSkip-Collectiveと呼ぶ工夫を組み合わせ、学習を効率化したとされる。基礎段階のモデルは複数の評価で平均76.7を記録し、完全公開のモデルとしては最も高いとAMDは説明している。

特徴は精度よりも公開の徹底ぶりにある。事前学習から長文対応、微調整、強化学習まで、各段階の重みをすべて出した。学習に使ったデータの配合や設定、推論コードも添えている。これは、外部の研究者が同じ条件で再現し、検証できることを意味する。中身が見えないまま提供される商用モデルと違い、挙動を確かめてから使える。オープンなモデルの意義はこの検証可能性にあり、その考え方はオープンソースSLMとは？企業が使える主要モデルと選び方でも整理している。

一方で、公開されたのはResearchRAILという研究向けのライセンスで、商用利用は認められていない。自社の製品やサービスに組み込む用途には、現時点では使えない。学習がAMDのGPUだけで完結した点も重要だ。高性能なAIはNVIDIA製の半導体でしか作れないという前提に、別の道があることを示した。ライセンスや対応環境は変わりうるため、導入を検討する際は最新の条件を公式で確認してほしい。

現場の実務にどう効くか

いま商用で使う場面はないが、モデル選定の視野を広げる価値はある。完全公開モデルの精度が商用モデルに近づけば、社内に閉じた環境で動かす選択肢が現実味を帯びる。機密性の高いデータを外に出したくない業務では、この方向が効いてくる。自社環境で動かす利点と注意点はSLMをオンプレミスで動かすメリットと注意点にまとめてある。

規模を絞って動かすMoEの仕組みは、同じ精度をより安く出せる可能性につながる。大量の定型処理を抱える部署ほど、単価の差が総額に響く。用途に合ったモデルの選び方は生成AIモデルの選び方 ビジネス用途別の基準、投資判断の考え方は生成AI導入の費用対効果の考え方を参照してほしい。推進担当が明日できるのは、いま使っている商用モデルの用途を一つ選び、公開モデルで代替できる条件を書き出してみることだ。すぐの置き換えは難しくても、選択肢の広がりを把握しておくと、次の交渉や設計で効いてくる。

出典

• AMD ROCm Blog: Introducing Instella-MoE
• MarkTechPost: AMD Releases Instella-MoE-16B-A3B