OpenAIが実生活タスクの評価LifeValを公開
OpenAIが、育児や家計、行政手続きなど暮らしの実務でAIの出来を採点する評価基準LifeValを公開した。最新モデルは80.6%、前世代は49.3%で差が開いた。自社の業務でモデルを見極める考え方に、この指標がどう使えるかを整理する。
7件の記事
OpenAIが、育児や家計、行政手続きなど暮らしの実務でAIの出来を採点する評価基準LifeValを公開した。最新モデルは80.6%、前世代は49.3%で差が開いた。自社の業務でモデルを見極める考え方に、この指標がどう使えるかを整理する。
調査会社SemiAnalysisが、実際の職務を模したベンチマークGDPxでAIエージェントの成績を公表した。最高でも正答12%にとどまり、金融と法務の課題はほぼ0%だった。現状のエージェントは万能ではないという実務の目安になる。数値は同社公表値で、最新は公式で確認したい。
AI評価のArenaが10月8日、モデルの整合性を測るAlignment Indexを公開した。9万件のエージェント対話で27モデルを採点し、GPT-6.1 Solが87.9で首位。安全性でモデルを選ぶ新たな物差しになる。同社は2億ドルを調達した。
画像診断AIが誤診でも自信満々になる問題を測るRadLE 2.0が公開された。専門医の正答率83%に対し最上位AIは30%。無監督での臨床利用に警鐘を鳴らす内容だ。
Googleは2026年6月22日、推論を強化したGemini 2.5 Pro Deep Thinkを公開した。大学院レベルの科学問題で82.4%と高水準を記録した一方、ソフト開発の指標ではFable 5が上回る。Gemini 3.5 Proは7月へ延期。用途で使い分ける視点が要る。
IBMとArtificial Analysisは、企業のIT運用タスクでAIエージェントを測る新指標ITBench-AAを公開した。59のシステム運用課題で、最上位のClaude Opus 4.7でも47%と、主要モデルはすべて50%に届かない。エージェントに任せきれる範囲を見極める材料になる。
AI-Driven Enterprise Instituteが、S&P500企業のAI導入度を比較した調査を公開した。Nvidia、Amazon、Meta、SLBが上位。決算説明や求人、特許など公開情報から測った点が特徴で、自社のAI活用度を外の物差しで点検する材料になる。