放射線診断AIの過信を測る新指標 RadLE 2.0公開

結論

画像診断AIが、間違った診断でも自信満々に答えてしまう問題を数値で測る新しいベンチマークが公開された。研究チームが発表したRadLE 2.0は、正答率だけでなく、AIが自らの確信度をどれだけ正しく見積もれるかを評価する。検証では、認定を受けた放射線科医の正答率が83%だったのに対し、最も成績のよいAIでも30%にとどまった。AIを単独で臨床に使うことへの警鐘となる内容だ。

何を測るベンチマークか

RadLE 2.0は、AIが診断に至れるかだけでなく、その診断への自信が妥当で信頼でき、人へ引き継ぐべきときを見極められるかを評価する。誤った診断を確信をもって出すことは、正直に「分からない」と答えるより危険だという問題意識に基づく。評価は、確信度で重みづけした指標、信頼性、正確性、安全性、引き継ぎの準備度という複数の観点で行われる。

検証結果は差がはっきり出た。認定放射線科医の正答率が83%、研修医が45%だったのに対し、AIの最高はGPT-5の30%だった。自信の見積もりの信頼性は、GPT-5とo3で高め、Gemini 2.5 ProやGrok-4で中程度、Claude Opus 4.1では低いと評価された。正答率が低いだけでなく、自分がどれだけ確からしいかを正しく把握できていないモデルが多い。RadLE 2.0は、現時点のAIを監督なしで放射線診断に使うことに注意を促している。

現場の実務にどう効くか

この結果は医療分野に限った話ではない。あらゆる業務でAIを使うときに効いてくる教訓は、AIが自信たっぷりに間違えるという点だ。回答が断定調で整っていても、内容が正しいとは限らない。事実と異なる内容を作り出す仕組みはハルシネーションの解説で整理している。重要な判断ほど、AIの出力を鵜呑みにせず根拠を確かめる手順が要る。

医療機関でAIを導入する場合は、AIを最終診断者ではなく補助として位置づけ、医師が確認する体制を前提に組む。実際の導入の進め方は医療分野のAI導入事例、事務作業への応用は医療の事務作業をAIで効率化する方法にまとめている。確信度を過信しない設計は、専門知識が要る他の業務にもそのまま応用できる。AIに任せる範囲と人が確認する範囲を分け、間違えたときに気づける仕組みを併せて用意しておくことが、安全に使う条件になる。

正答率より確信度を測る意味

RadLE 2.0が正答率だけを見ないのは、実務での危険が正答率に表れないからだ。正答率が同じ二つのモデルでも、間違えたときに「分からない」と言えるモデルと、自信満々に断言するモデルとでは、現場のリスクがまったく異なる。前者なら人が確認に回れるが、後者は誤りがそのまま通ってしまう。だからこの指標は、間違えたときの振る舞いまで含めて評価する。

契約書のレビューや与信の判断、専門的な問い合わせ対応など、間違いが実害につながる業務は多い。そこでAIを使うなら、出力の正しさに加えて、AIが自分の不確かさを申告できるかを見ておきたい。回答に確信度を添えさせる、根拠となった箇所を必ず示させる、判断が割れる論点は人へ回すといった運用を組み込むと、過信による事故を減らせる。断定調の整った文章ほど、正しさの証明にはならないと心得ておくことだ。医療に限らず、AIの確信度をそのまま信じない設計が、あらゆる業務での安全弁になる。

出典

• Radiology’s Last Exam (RadLE) 2.0 技術報告（CRASH Lab）
• AI chatbots reading X-rays can be dangerously confident even when they’re wrong（The Decoder）