AIエージェント実務ベンチで最高12% SemiAnalysis
この記事の要点
調査会社SemiAnalysisが、実際の職務を模したベンチマークGDPxでAIエージェントの成績を公表した。最高でも正答12%にとどまり、金融と法務の課題はほぼ0%だった。現状のエージェントは万能ではないという実務の目安になる。数値は同社公表値で、最新は公式で確認したい。
調査会社のSemiAnalysisが、実際の職務を模したベンチマーク「GDPx」でAIエージェントの成績を公表した。幅広い職務を最後までこなす設定で、最も優秀なモデルでも正答は12%にとどまった。とくに金融と法務の課題はほぼ0%だった。現状のAIエージェントは万能ではなく、人の指示と確認を挟む前提で使うべきだという実務の目安になる数字だ。
何が公表されたのか
SemiAnalysisの公表によると、GDPxは11分野にわたる実際の職務を想定し、AIエージェントが人の手を借りずに課題を最後までやり切れるかを測る。結果は、総合で最も成績がよかったClaude Opus 5.5が12.0%、続くGemini 4 Carbonが10.9%、GPT-6 Astraが9.6%だった。いずれも、完全自動で職務を完遂できた割合は1割前後にとどまる。分野別では、金融と法務の課題でほぼすべてのモデルが0%近くだった。
この数字は、AIエージェントへの期待を冷静に見直す材料になる。ベンチマークは、人の指示や途中の修正を入れずに、仕事を丸ごと任せきった場合の成功率を測っている。実務では、調査や下書き、整形といった個々の工程でAIが役立つことと、職務全体を無人で完遂できることは別の話だ。GDPxの結果は、後者がまだ難しいことを具体的な数字で示している。数値はいずれもSemiAnalysisの公表値で、モデルや設定は今後更新されうる。
AIエージェントの企業導入をめぐる動きは相次いでいる。業務特化のエージェント基盤はSema4.aiが企業向けエージェント基盤を発表で、従業員がエージェントを使う事例はUBSが従業員向けにAIエージェントを導入で扱った。業務フローへの組み込みはServiceNowとGoogleがエージェント連携を強化にまとめている。
現場の実務にどう効くか
この結果は、AIエージェントの導入計画を立てるときの歯止めになる。「エージェントに業務を丸ごと任せれば人がいらなくなる」という売り文句に対し、実際の職務の完全自動化はまだ1割前後の成功率だという事実を示せるからだ。導入の目標を「完全自動」に置くと、ほぼ確実に期待外れに終わる。
実務で成果を出すなら、業務を工程に分け、AIに任せる範囲と人が確認する範囲を線引きすることだ。調査の一次集計、文章の下書き、データの整形はエージェントに任せ、最終判断と対外的な責任は人が持つ。とくに金融や法務のように正確さが厳しく問われる領域では、AIの出力を必ず人が根拠まで確認する運用を前提にする。GDPxの0%近いスコアは、その領域で自動化を急ぐことの危うさを裏づける。数値は公表元の値であり、最新は公式で確認してほしい。
まとめ
SemiAnalysisのベンチマークGDPxで、AIエージェントの職務完遂率は最高でも12%、金融と法務はほぼ0%だった。読者にとっての意味は、エージェントの完全自動化にまだ過度な期待をかけず、工程を分けて人の確認を挟む前提で使うべきだという点にある。数値は同社公表値のため、最新は公式で確認したい。
出典
よくある質問
AIエージェントが実務で最高12%とは、使えないという意味か
使えないという意味ではありません。実際の職務を丸ごと最後までこなす難しいベンチマークで、完全自動の成功率が低いということです。人が指示と確認を挟む使い方なら、調査や下書きといった工程で十分役立ちます。全部を任せきりにする前提では期待しすぎ、という目安として読むのが適切です。数値は公表元で確認してください。
金融や法務でスコアが低いのはなぜか
これらの分野は、正確さと根拠が厳しく問われ、少しの誤りも許されないためです。AIが事実と異なる内容を自信ありげに出す弱点が、そのまま成績に表れます。実務では、金融や法務の最終判断はAIに任せず、人が根拠を確認する運用が前提になります。評価の詳細は公式の公表資料で確認してください。