AIエージェント、IT運用の専門ベンチで50%未満

結論

IBMとArtificial Analysisは、企業のIT運用タスクでAIエージェントの実力を測る新しいベンチマークITBench-AAを公開した。最初の版は59のシステム運用課題で構成され、最上位のClaude Opus 4.7でも正答率は47%、主要モデルはすべて50%に届かなかった。エージェントへの期待が高まる一方で、専門性の高い運用業務を人手なしで任せきるにはまだ距離があることを、数字で示した結果だ。任せる範囲と人の確認をどこに置くかを考える材料になる。

何が分かったのか

ITBench-AAは、IBMとAI評価を手がけるArtificial Analysisが共同で公開した。狙いは、企業のIT運用の現場でエージェントがどこまで使えるかを共通のものさしで測ることだ。最初の版は、システムの安定運用を担う領域の59課題からなる。エージェントは、出てきた警告やログ、処理の流れの記録、システムの構成情報を分析し、障害の原因を突き止めることを求められる。

結果は、現状の限界をはっきり示した。すべての主要モデルが正答率50%を下回り、首位のClaude Opus 4.7で47%、次いでGPT-5.5が46%だった。日常の調べものや下書きでは高い力を見せるモデルでも、複数の手がかりを突き合わせて原因にたどり着く運用業務では、半分も解けない。なお、評価はベンチマークを作った側の設計に基づくため、実際の業務での使い勝手とは別物だ。最新の数値や対象範囲は公式で確認してほしい。

現場の実務にどう効くか

AI推進担当にとっての教訓は、エージェントへの期待値を業務ごとに分けて持つことだ。定型の作業や下書きはすでに任せられる一方、複数の情報を突き合わせて判断する専門業務は、まだ人の確認を前提に組む必要がある。同じ警鐘は他の調査でも出ており、企業の72%が「AIエージェントの統制が不十分」と答え、CIOの51%は「AI導入は速すぎる」と答えている。

実務では、エージェントに任せる業務を「失敗しても影響が小さく、人が結果を確認できるもの」から始めるとよい。本番の運用に載せる前に、自社の業務でどこまで正しく動くかを小さく試す手順が要る。試行で陥りやすい点は小さく始めるAI導入 PoCの罠、効果の測り方はAI導入の効果をどう測るかにまとめている。ベンチマークの数字をそのまま自社の成果と見なさず、自社データでの検証をはさむことが、過剰な期待と失望の両方を避ける近道だ。

数字の読み方にも注意が要る。47%という値は、IT運用という専門性の高い領域での結果だ。メールの下書きや議事録の要約のように、手がかりが一つの作業では、同じモデルでももっと高い成果を出す。業務の難しさは、複数の情報を突き合わせて原因や答えにたどり着く工程の多さで決まる。自社の業務をこの観点で並べると、すぐ任せられるものと、当面は人の確認を挟むべきものが分かれる。エージェントの導入計画は、この切り分けを起点に組むと現実的になる。

任せる範囲を広げる際は、エージェントが何をしたかを記録に残し、誤りを早く見つけられる体制を同時に整えたい。導入が先行して統制が遅れる失敗は各所で起きており、自社の進み方が同じ轍を踏んでいないかを定期的に確かめることが、結局は速く広げる近道になる。

まとめ

エージェントは万能ではなく、業務ごとに任せられる範囲が違う。ITBench-AAは、専門的な運用業務ではまだ半分も解けない現状を数字で示した。自社では、エージェントに任せる業務を切り分け、人の確認をどこに置くかを先に決めてから広げたい。

出典

• ITBench-AA: Frontier Models Score Below 50% on the First Benchmark for Agentic Enterprise IT Tasks（IBM Research / Hugging Face）
• ITBench-AA Benchmark Leaderboard（Artificial Analysis）