d-MatrixがWallaroo買収 AI推論の展開を一気通貫に

結論

半導体のd-Matrixは8月3日、AI推論の展開と運用を担うソフトウェアのWallaroo.aiを買収した。これで、専用チップから運用ソフトまでを一続きで提供する形になる。狙いは、AIを動かし続けるときの遅延と費用を下げることだ。AIを試作から本番へ移した企業ほど、使うほど積み上がる推論の費用が重くなる。今回の動きは、その運用コストを抑える競争が半導体の側からも進んでいることを示す。

何が発表されたか

d-Matrixは、AI推論の展開と調整を手がけるWallaroo.aiを買収したと8月3日に発表した。これにより、d-Matrixは自社の半導体と、モデルを動かすための運用ソフトを合わせて提供する。1台のサーバーから複数のラックまで、規模を変えても低遅延の推論を届けやすくすると説明している。詳細はPR Newswireの発表で確認できる。

背景には、AIの費用の重心が学習から推論へ移っている事情がある。モデルを一度作る費用より、日々動かし続ける費用のほうが、運用段階では効いてくる。d-Matrixはこの分野で先に2億7500万ドルを調達し、4月にはデータセンター事業の買収も進めていた。今回はその延長線上にある。金額や条件は変わりうるため、最新は公式で確認してほしい。推論の単価が下がっても企業全体の請求は増えやすい構図はモデル値下げでも企業のAI請求は増える 支出管理が急務で整理している。

現場の実務にどう効くか

推進担当が直接この半導体を選ぶ場面は少ない。だが、推論の遅延と単価が下がる流れは、自社が使うAIサービスの応答速度や料金に回り回って響く。効果を見極めるには、モデルの性能だけでなく、どこで動かすかと単価がどう決まるかを合わせて見る必要がある。クラウドと自社設備の使い分けはクラウドとオンプレのAI 違いと選び方で押さえられる。

運用の費用は、利用量とモデルの選び方で大きく動く。同じ用途でも軽いモデルで足りる処理を重いモデルに回すと、単価がかさむ。処理ごとに適切な規模を割り当てる発想が効く。料金の単位になるトークンの考え方はトークンとは？文字数制限と料金の関係をわかりやすく解説、支出が膨らんだときの見直しは生成AIのコストが高いと感じたときの見直し方が参考になる。今週できるのは、社内でAIを使う主要な処理を書き出し、それぞれに必要なモデルの規模と月あたりの利用量を見積もって、過剰なところを洗い出すことだ。

出典

• PR Newswire: d-Matrix Acquires Wallaroo.ai to Speed up Deployment of Heterogeneous AI Inference Workloads
• The New Stack: Why d-Matrix bets on in-memory compute to break the AI inference bottleneck