LLMの画像診断 Diagnosis Pleaseでの正答率と限界

ChatGPTのような生成AIに病歴と画像所見を入れたら診断してくれるって本当ですか？読影に使っていいのでしょうか。
研究では「所見を文字で正しく渡せば、専門医向けクイズでも半分以上当てる」という結果が出ています。ただ、画像そのものを読む力はまだ弱く、理由づけの誤りも多いので、使いどころと限界を分けて見ていきましょう。

先に結論：LLM(大規模言語モデル)は「文字にした所見から鑑別を挙げる」のは得意、「画像そのものを読む」のはまだ発展途上。最終判断と所見の確認は人が行う

項目 研究でわかっていること
病歴＋所見(文字)から診断 Radiology誌「Diagnosis Please」322〜324問で第1診断の正答率は約34〜65%。条件・モデル・時期で大きく変わる
病歴＋キー画像から診断 所見を文字で渡したときより明らかに低い(約25〜30%)
放射線科医との比較 画像入力の研究では放射線科医61%に対し、LLMは29〜49%
入力の工夫 情報を整理してから診断させる、事前確率(クイズ症例であること)を伝えると正答率が上がる
注意点 正解でも根拠の説明が誤っていることがある。ハルシネーション(もっともらしい誤り)、架空の文献、患者情報の扱い

LLM(大規模言語モデル)とは

LLM(large language model)は、大量の文章から次に来る言葉を予測するように学習したAIで、質問に文章で答えられます。近年は画像も入力できるもの(マルチモーダルLLM、vision-language model)が増えました。

放射線科の領域では、診断の補助、レポートの作成や要約、患者説明などへの応用が報告されています。ChatGPTの放射線科領域での研究44本を集めた系統的レビューでは、37本(84.1%)が高い性能を示した一方、偏った回答、誤情報(ハルシネーション)、不適切な引用や架空の文献、患者のプライバシーのリスクが課題として挙げられています(Keshavarz 2024)。

医師・医学生がふだんどのAIを使っているかは医師・医学生1,158人に聞いた「使っているAI」にまとめています。

「Diagnosis Please」を使った研究でわかったこと

Radiology誌の「Diagnosis Please」は、病歴と画像から診断を当てる専門医向けの月例クイズです。稀な疾患や典型的でない像が多く、LLMの診断力を比べる題材としてよく使われています。

所見を文字で渡した場合

1998〜2023年の324問について、提出者が書いた病歴と画像所見(文字)を3つのLLMに渡し、上位3つの鑑別を挙げさせた研究では、第1診断の正答率は41.0%、54.0%、33.9%、上位3つまで含めると49.4%、62.0%、41.0%で、モデル間に有意差がありました(Sonoda 2024)。

ここで大事なのは、入力された所見が正確であることが前提という点です。著者らも「正確な評価と言葉にした所見を与えれば」補助になりうる、という書き方をしています。

画像そのものを渡した場合

同じ322問で、(1)病歴のみ、(2)病歴＋所見(文字)、(3)病歴＋キー画像、の3条件を比べた研究では、2つのモデルの正答率はそれぞれ(1)18.0%・21.4%、(2)62.4%・64.9%、(3)24.8%・30.1%でした(Kurokawa 2024)。

画像を加えると病歴のみより有意に上がりますが、所見を人が文字にしたときには遠く及ばないという結果です。

別の研究では、2008〜2023年の190問で画像を直接入力したところ、2つのLLMの正答率は29〜49%(設定により変化)、8人の専門医の正答率は61%で、多くの領域で放射線科医の方が上回りました(Suh 2024)。

正解していても「理由」が誤っていることがある

NEJMの画像クイズ(選択式)では、画像入力のLLMの正答率は81.6%で、医師の77.8%と同程度でした。しかし正解した問題の35.5%で根拠の説明に誤りがあり、とくに画像の理解の誤りが27.2%を占めました(Jin 2024)。

選択肢がある問題での正答率は、そのまま臨床での信頼性を意味しません。

入力のしかたで成績が変わる

LLMの答えは、渡し方(プロンプト)によって変わります。

  • 先に情報を整理させてから診断させる：病歴と画像所見を項目ごとに整理させたあとで診断させると、第1診断の正答率が56.5%から60.6%に上がりました(Sonoda 2025)。
  • 事前確率を伝える：「クイズの症例」と伝えると64.9%から70.2%に上がり、「プライマリケアの症例」と伝えると59.9%に下がりました(Fukushima 2025)。稀な疾患が多い前提かどうかで、答えの重みづけが変わることを示しています。

これは人の読影と同じで、検査前確率(どんな集団の患者か)を意識することの大切さを示す結果ともいえます。

使いどころと限界

向いている使い方 注意が要る使い方
診断 自分でとった所見を文字にして、鑑別の漏れがないか確かめる 画像だけを渡して所見をとらせる、答えをそのまま採用する
知識 疾患の概要や鑑別の整理のきっかけ 数値・基準・文献をそのまま引用する(原典で確かめる)
文章 レポートの言い回しの整理 所見を足したり消したりしていないか確認せずに使う
情報管理 個人が特定できない形での入力 氏名・ID・画像に焼き込まれた個人情報を外部のサービスへ入力する

研究で使われたモデルは研究時点の版で、製品の優劣は版や時期で入れ替わります。特定の製品を選ぶ根拠として読むのではなく、「文字の所見には強い・画像そのものには弱い・理由づけは要確認」という傾向として理解するのが安全です。

読影の基本の流れは頭部CTの見方まとめも参考にしてください。

よくある疑問(Q&A)

Q. LLMは放射線科医の代わりになりますか？

現時点の研究では、画像を直接読む力は放射線科医に及ばず(Suh 2024)、正解でも理由が誤っていることがあります(Jin 2024)。所見をとり、最終的に判断するのは人です。

Q. 研修医が使うならどう使うのがよいですか？

自分で所見をとって鑑別を考えたあとに、「見落としている鑑別はないか」を確かめる使い方が研究結果とも合っています。答えや文献は原典で確かめ、指導医と確認しましょう。

Q. 正答率の数字はどこまで当てはまりますか？

Diagnosis Pleaseはクイズで、稀な疾患が多く、日常診療の症例とは構成が違います。モデルの更新も速いため、数字は研究時点・その条件での値として読む必要があります。

参考文献

  1. Sonoda Y, Kurokawa R, Nakamura Y, et al. Diagnostic performances of GPT-4o, Claude 3 Opus, and Gemini 1.5 Pro in “Diagnosis Please” cases. Jpn J Radiol. 2024;42(11):1231-1235. PubMed
  2. Kurokawa R, Ohizumi Y, Kanzawa J, et al. Diagnostic performances of Claude 3 Opus and Claude 3.5 Sonnet from patient history and key images in Radiology’s “Diagnosis Please” cases. Jpn J Radiol. 2024;42(12):1399-1402. PubMed
  3. Suh PS, Shim WH, Suh CH, et al. Comparing Diagnostic Accuracy of Radiologists versus GPT-4V and Gemini Pro Vision Using Image Inputs from Diagnosis Please Cases. Radiology. 2024;312(1):e240273. PubMed
  4. Jin Q, Chen F, Zhou Y, et al. Hidden flaws behind expert-level accuracy of multimodal GPT-4 vision in medicine. NPJ Digit Med. 2024;7(1):190. PubMed
  5. Sonoda Y, Kurokawa R, Hagiwara A, et al. Structured clinical reasoning prompt enhances LLM’s diagnostic capabilities in diagnosis please quiz cases. Jpn J Radiol. 2025;43(4):586-592. PubMed
  6. Fukushima T, Kurokawa R, Hagiwara A, et al. Influence of prior probability information on large language model performance in radiological diagnosis. Jpn J Radiol. 2025;43(6):934-939. PubMed
  7. Keshavarz P, Bagherieh S, Nabipoorashrafi SA, et al. ChatGPT in radiology: A systematic review of performance, pitfalls, and future perspectives. Diagn Interv Imaging. 2024;105(7-8):251-265. PubMed

画像診断を無料で学べるコンテンツ

腹部画像診断を症例で学ぶ
無料講座

腹部画像診断を症例で学ぶ

4日に1回、朝6時に症例が届き、実際に画像をスクロールして読影する講座です。90症例以上・1年以上続く講座で、医師・医学生・放射線技師・看護師など10,000名以上が参加中です。

講座に参加する(無料) →
胸部レントゲンの正常解剖を31日で
無料講座

胸部レントゲンの正常解剖を31日で

1日3分、全31日で胸部レントゲンの正常解剖の基礎を学ぶ参加型の講座です。全日程に簡単な動画解説が付いています。

講座に参加する(無料) →
画像診断LINE公式アカウント
登録特典あり

画像診断LINE公式アカウント

新しい企画やモニター募集のお知らせを配信しています。登録すると特典として、脳の血管支配域のミニ講座に無料で参加できます。

LINEで友だち追加 →