#ベンチマーク

4件の記事

最新動向

画像診断AIが誤診でも自信満々になる問題を測るRadLE 2.0が公開された。専門医の正答率83%に対し最上位AIは30%。無監督での臨床利用に警鐘を鳴らす内容だ。

最新動向

Googleは2026年6月22日、推論を強化したGemini 2.5 Pro Deep Thinkを公開した。大学院レベルの科学問題で82.4%と高水準を記録した一方、ソフト開発の指標ではFable 5が上回る。Gemini 3.5 Proは7月へ延期。用途で使い分ける視点が要る。

最新動向

IBMとArtificial Analysisは、企業のIT運用タスクでAIエージェントを測る新指標ITBench-AAを公開した。59のシステム運用課題で、最上位のClaude Opus 4.7でも47%と、主要モデルはすべて50%に届かない。エージェントに任せきれる範囲を見極める材料になる。

最新動向

AI-Driven Enterprise Instituteが、S&P500企業のAI導入度を比較した調査を公開した。Nvidia、Amazon、Meta、SLBが上位。決算説明や求人、特許など公開情報から測った点が特徴で、自社のAI活用度を外の物差しで点検する材料になる。