英NHSでAI医療スクライブが誤記録 薬名や診断に間違い
この記事の要点
英国のHealthwatch Englandが、診察を自動で記録するAIツールが薬名や診断、治療指示を誤る例を報告した。医師も見落とす誤りが混じり、少なくとも27種類が使われている。AIの文字起こしを業務記録に使う際の検証の重要性を示す。
結論
英国のHealthwatch Englandが、医師と患者の会話を自動で記録するAIツールが、薬名、診断、治療指示を誤る例を報告した。医師自身が最初は見落とした誤りも含まれる。英国では少なくとも27種類のAIスクライブが使われている。文字起こしの誤りは、会議の記録なら不便で済むが、医療記録では後の治療に影響する。AIの自動記録を業務に使うすべての現場に、検証の仕組みが要ることを示す事例だ。
何が起きたのか
Healthwatch Englandによると、患者が薬名、診断、治療指示に関わる間違いをAI生成の診察記録の中で見つけた。医師が見落としていた誤りもあった。英国の医療現場では、少なくとも27種類の異なるAIスクライブが使われている。
問題のひとつは規制上の分類だ。英国の規制当局は現時点でAIスクライブを医療機器として分類しておらず、ソフトが安全で有効かを評価する統一的な監督の仕組みがない。医師が生成された記録を確認することが前提とされるが、その確認作業は、AIが売りにしていた事務負担の軽減という利点を弱める。事務の補助にとどまるAIと、医療記録に静かに反映されるAIとでは、誤りの重みが違う。
生成AIの誤りは仕組みとして避けられない面がある。背景はハルシネーションとは何かが参考になる。医療分野の過信リスクは画像診断AIの過信を検証した報告でも指摘されている。記録業務そのものの改善は看護記録へのAI活用にまとめている。
現場の実務にどう効くか
医療に限らず、会議や商談をAIで自動記録している職場は、同じリスクを抱える。まず、AIの文字起こしを「そのまま正」とみなさない前提を共有する。とくに数字、金額、日付、固有名詞、指示にあたる文は、人が原文と突き合わせて確認する。
運用としては、記録の冒頭に「AI生成・要確認」と明記し、確認者と確認日を残す欄を設ける。契約や医療のように失敗コストが大きい領域では、AIの記録を一次資料とせず、必ず人の確認を通したものを正式版とする。誤りが見つかった箇所は種類ごとに記録し、プロンプトや設定の改善に回す。AIスクライブの精度や規制上の扱いは変わりうるため、導入時は提供元の公式情報で最新を確認してほしい。
FAQ
Q. AIスクライブは使うべきでないのか。 禁止すべきという話ではありません。事務負担は減らせますが、生成物を人が確認する工程を組み込む前提で使うべきだという内容です。
Q. 確認をどこまでやればよいか。 数字、固有名詞、指示にあたる部分を優先します。失敗コストが大きい記録は、人が確認したものを正式版とします。
まとめ
AIの自動記録は誤りを含む。数字や固有名詞、指示の部分を人が確認し、失敗コストの大きい領域では確認済みのものだけを正式版とする運用を敷きたい。
出典
よくある質問
何が問題だったのか
診察を自動記録するAIが、薬名や診断、治療指示を誤る例が報告されました。医師自身が最初は見落とした誤りも含まれ、記録が再利用されるため影響が残ります。
自社の文字起こしでも起きるのか
会議や商談の自動記録でも同様の誤りは起こりえます。数字、固有名詞、指示にあたる部分は人が確認する運用を前提にしてください。
関連記事
放射線診断AIの過信を測る新指標 RadLE 2.0公開
画像診断AIが誤診でも自信満々になる問題を測るRadLE 2.0が公開された。専門医の正答率83%に対し最上位AIは30%。無監督での臨床利用に警鐘を鳴らす内容だ。
FDA、医療AI規制を市販後重視へ転換。1000製品超を承認済み
米FDAが6月16日、医療AIの規制を発売前審査から市販後の監視へ重心を移す方針を示した。承認済みのAI医療製品は1000を超える。実際の現場での性能を継続して確かめる方向だ。医療に近い業界でAIを使う企業は、導入後の検証体制が問われる。
DatabricksがRow Zero買収 表計算をAIと統制下に
Databricksが9月24日、数十億行を扱う表計算のRow Zeroを買収した。使い慣れた表計算のまま権限と監査を効かせ、AIコワーカーのGenieに統合する。管理されない表計算のリスクをどう抑えるか、実務目線で整理する。