#ベンチマーク

7件の記事

最新動向

OpenAIが実生活タスクの評価LifeValを公開

OpenAIが、育児や家計、行政手続きなど暮らしの実務でAIの出来を採点する評価基準LifeValを公開した。最新モデルは80.6%、前世代は49.3%で差が開いた。自社の業務でモデルを見極める考え方に、この指標がどう使えるかを整理する。

最新動向

AIエージェント実務ベンチで最高12% SemiAnalysis

調査会社SemiAnalysisが、実際の職務を模したベンチマークGDPxでAIエージェントの成績を公表した。最高でも正答12%にとどまり、金融と法務の課題はほぼ0%だった。現状のエージェントは万能ではないという実務の目安になる。数値は同社公表値で、最新は公式で確認したい。

最新動向

Arenaがモデル整合性の指標公開 27モデルを採点

AI評価のArenaが10月8日、モデルの整合性を測るAlignment Indexを公開した。9万件のエージェント対話で27モデルを採点し、GPT-6.1 Solが87.9で首位。安全性でモデルを選ぶ新たな物差しになる。同社は2億ドルを調達した。

最新動向

Gemini 2.5 Pro Deep Think公開。科学分野で首位

Googleは2026年6月22日、推論を強化したGemini 2.5 Pro Deep Thinkを公開した。大学院レベルの科学問題で82.4%と高水準を記録した一方、ソフト開発の指標ではFable 5が上回る。Gemini 3.5 Proは7月へ延期。用途で使い分ける視点が要る。

最新動向

AIエージェント、IT運用の専門ベンチで50%未満

IBMとArtificial Analysisは、企業のIT運用タスクでAIエージェントを測る新指標ITBench-AAを公開した。59のシステム運用課題で、最上位のClaude Opus 4.7でも47%と、主要モデルはすべて50%に届かない。エージェントに任せきれる範囲を見極める材料になる。

最新動向

S&P500のAI導入度ランキング、Nvidia・Amazonが上位

AI-Driven Enterprise Instituteが、S&P500企業のAI導入度を比較した調査を公開した。Nvidia、Amazon、Meta、SLBが上位。決算説明や求人、特許など公開情報から測った点が特徴で、自社のAI活用度を外の物差しで点検する材料になる。