NVIDIAがモデル振り分け「NeMo Switchyard」公開 費用最大74%減

結論

NVIDIAは8月11日、AIエージェントの処理を一段ごとに最適なモデルへ自動で振り分けるオープンソースの道具「NeMo Switchyard」を公開した。難しい判断だけを高性能モデルに回し、残りの大半を小型モデルで処理する仕組みで、エージェントの運用費を直接下げられる。公開事例ではLangChainが多段処理のコストを74%削減し、Rampは処理時間を33%、費用を58%減らした。AIエージェントを本番で動かす企業にとって、月々の請求額を抑える実務的な選択肢が増えた。

NeMo Switchyardとは何か

AIエージェントは、指示を受けてから完了までに何度もモデルを呼び出す。要約、分類、コード生成、最終確認と、作業ごとに必要な難易度は違う。それなのに、すべてを同じ高性能モデルで処理すると、簡単な作業にも高い料金を払うことになる。

NeMo Switchyardは、この無駄を減らすために作られた振り分けの仕組みだ。作業の内容を見て、その処理に十分な範囲でいちばん安く速いモデルを選ぶ。判断の基準は設定ファイルで調整でき、特定のモデル提供元に縛られない設計になっている。呼び出し側のアプリは、モデルごとに違う入出力の形式を意識せずに済む。

NVIDIAは同じ8月11日に、30億パラメータだけを実際に動かす軽量な公開モデル「Nemotron 3.5 Lightning」も公開している。小型モデルで大半を処理し、必要なときだけ大型モデルに回すという今回の設計と組み合わせる狙いがうかがえる。

注目すべきは、NVIDIAがこの振り分けの仕組みをオープンソースで公開した点だ。自社のモデルだけに閉じず、他社のモデルも振り分け先に選べる。エージェントを動かす企業にとっては、特定の提供元に縛られずに、用途ごとに最適なモデルを組み合わせられる。モデルを売る会社が振り分けの仕組みを無償で配るのは、モデルの利用そのものを広げたい狙いがあるとみられる。

数字で見た効果

NVIDIAが示した早期導入の数値は具体的だ。金融プラットフォームのRampは、Switchyard導入で処理時間を33%、費用を58%削減したとしている。エージェント開発の枠組みを提供するLangChainは、多段のやり取りを伴う処理でコストを74%削減し、精度への悪影響はほとんどなかったと報告した。

LangChainの検証はさらに踏み込んでいる。同社の評価一式をSwitchyardで動かしたところ、高性能モデルに回った処理は全体の7%にとどまり、残りの93%は30億パラメータのモデルで処理できたという。多くの作業は小型モデルで足りる、という前提を数字で示した形だ。数値は各社の使い方に依存するため、自社の業務で試して確かめてほしい。

現場の実務にどう効くか

AI推進担当にとって、この発表は「エージェントを増やすと費用が読めない」という悩みへの直接の答えになる。これまではモデル選びを人が固定し、安全側に倒して高性能モデルを常用しがちだった。振り分けを自動化できれば、性能を保ちながら請求額を下げる余地が生まれる。

まず着手すべきは、社内で動いているエージェントの呼び出しを棚卸しし、どの処理が「難しい判断」で、どれが「定型の整形や分類」なのかを分けることだ。定型作業の比率が高いほど、振り分けの効果は大きくなる。モデルごとの料金差は、Gemini 3.6 Flashのトークン費削減のように各社が競っており、振り分けはその差を取り込む仕組みでもある。

導入の判断は、費用対効果で見るのが現実的だ。生成AI導入の費用対効果の考え方で整理したように、削減額と運用の手間を並べて比べる。エージェントの基礎から確認したい場合はAIエージェントとはも参照してほしい。オープンソースのため、まず一部の処理で試し、効果を測ってから広げる進め方が向いている。

出典

• NVIDIA Nemotron 3.5 Lightning and NeMo Switchyard Deliver Faster, Smarter, More Efficient Agentic AI（NVIDIA Blog）
• Route AI Agent Workloads Across Models with NVIDIA NeMo Switchyard（NVIDIA Technical Blog）
• Nvidia releases Nemotron 3.5 Lightning and NeMo Switchyard to give enterprise AI capability options（SiliconANGLE）