[Medical Data Science 100 : S11] 第11回：AIの予測は完璧、でも「なぜ？」には答えられない：予測モデルの限界

近年の医療現場において、AI（人工知能）や機械学習の進歩は目覚ましいものがあります。患者の検査データや画像から疾患のリスクを高精度に弾き出し、私たちの診断を強力にサポートしてくれます。しかし、どれほど精度が高いAIであっても、臨床の現場で直面するある「致命的な弱点」を抱えています。

それは、AIは「Aが起きればBが起きる」というパターンを当てることは得意でも、「なぜBが起きるのか」という問いには決して答えられないという事実です。今回は、AIの予測モデルが抱える根源的な限界と、医療者がそれをどのように捉えて使いこなすべきかについて解説します。

予測と介入の決定的な差：「当てる」ことと「治す」ことの違い

日々の診療や研究の中で、「AIが患者の重症化リスクを高精度に当てた」といったニュースを耳にすることが増えたのではないでしょうか。機械学習の基本的な仕組みは、様々な要因となるデータ（説明変数：年齢、性別、血液検査の値、画像所見など）を入力し、知りたい結果（目的変数：特定の疾患の発症有無や生存率など）を出力するというものです。モデルは膨大な過去の医療データセットを読み込み、説明変数と目的変数の間に潜む「パターン」や「相関関係」を自ら学習していきます。

しかし、ここで私たちが絶対に陥ってはいけない錯覚があります。それは、「高い精度で予測できること」と「どう介入すればその結果を良い方向に変えられるかを知っていること」は全く別の次元の話だということです。医療AIの導入において、「予測（Prediction）」と「介入（Intervention）」は決して混同してはならない概念として強く警告されています (Cabitza et al. 2017)。

日常的な例で考えてみましょう。リビングの壁にかかっている気圧計の針が急激に下がったとき、私たちは「これから雨が降る可能性が高い」と予測することができますよね。しかし、「どうしても明日は晴れてほしいから」といって、手で無理やり気圧計の針を上に押し上げても（介入）、外の天気は絶対に変わりません。気圧計の針の低下は雨が降る「サイン（相関）」であって、雨を降らせる「原因」ではないからです。

実は、医療におけるAIの予測モデルもこれと全く同じことをしています。例えば、「ある特定のバイオマーカー（検査値）が高い患者は、1年後の死亡リスクが著しく高い」とAIが予測したとします。これは見事な「予測」です。しかし、だからといって、新薬を使ってそのバイオマーカーの数値だけを無理やり下げたとしても、患者の生存率が劇的に改善する（介入の効果がある）とは限りません。そのマーカーは単なる病気の「結果」として上がっているだけかもしれないからです。AIはあくまでデータ上の表面的なパターンをなぞる「予測マシン」に過ぎず、治療方針を決定するために不可欠な「因果関係（なぜそうなるのか）」を理解しているわけではないのです。ここを勘違いすると、臨床現場で大きな過ちを犯すリスクがあるのだと私は考えています。

喘息患者の肺炎事例：相関と因果を混同するAIの罠

AIが相関と因果を混同してしまうことで、どれほど恐ろしい事態が生じ得るか。医療データサイエンスの世界で、決定的な教訓として語り継がれている非常に有名な事例をご紹介しましょう。

米国の研究チームが、実際の病院のデータを用いて「肺炎患者の死亡リスクを予測するAIモデル」を構築しました。結果として、このモデルは非常に高い精度で患者のリスクを予測できるようになったのですが、研究者がモデルの学習した「ルール」の中身を覗き込んだとき、目を疑うような奇妙な法則が含まれていました。それは、「喘息の既往がある肺炎患者は、死亡リスクが低い」というルールだったのです (Caruana et al. 2015)。

私たち医療従事者の常識に照らし合わせれば、すぐに「おかしい」と気づくはずです。気道に慢性的な炎症を抱える喘息患者が肺炎を併発すれば、呼吸状態は急激に悪化しやすく、重症化リスクはむしろ跳ね上がるのが自然です。では、なぜ世界最先端のAIがこんなトンチンカンな予測を弾き出したのでしょうか。

その答えは、医療現場における「人間の介入」という、データには直接書き込まれていない背景の仕組みにありました。現実の病院では、喘息を持つ患者が肺炎で救急外来にやってきた場合、医師は即座に「超ハイリスク患者だ」と判断し、ただちにICU（集中治療室）に収容して、人工呼吸器の準備や強力な抗菌薬の投与など、最も手厚い治療を行います。その結果として、彼らの生存率は「たまたま（医療者の努力によって）」高くなっていたのです。

しかし、AIは背景にある「医師の迅速で必死な治療」という事実や因果関係のストーリーを知りません。ただただ、入力されたエクセルシートのようなデータ表面の「喘息：あり ＝ 生存：YES」という数値の相関だけを鵜呑みにし、解釈を危険な方向にショートカットしてしまったのです。

もし、この予測モデルの精度の高さだけを信じてそのまま臨床現場に導入し、「AIが『喘息患者は低リスク』と判定したから、この患者さんは外来治療で帰宅させて様子を見よう」というトリアージ方針をとってしまったらどうなるでしょうか。間違いなく、重大な医療事故に直結していたはずです。これは、観察データから単なる相関関係を学習しただけの予測モデルを、そのまま「介入（治療方針の決定）」の根拠に用いてはならないという、医療AIにおける強烈かつ決定的な教訓だと言えます。

---

統計的仮定の限界：現実の医療現場を揺るがす「i.i.d.仮定」

医療AIが抱えるもう一つの大きなアキレス腱。それは、予測モデルの信頼性を根底から揺るがす「i.i.d.仮定（independent and identically distributed assumption：独立同分布の仮定）」と呼ばれる厄介な数学的前提です。

少し専門的な言葉ですが、要するに現在の機械学習モデルは基本的に、「AIの学習に使った過去のデータと、これから臨床で予測したい未来のデータは、全く同じ条件（同じ確率分布）から発生している」と無邪気に信じ込んでいるということです。

分かりやすい例え話で考えてみましょう。過去10年分の大学入試の「過去問」を完璧に丸暗記した受験生（AI）がいるとします。彼は、今年の入試問題も過去10年と全く同じ出題傾向（分布）で出ると固く信じています。しかし、もし今年から突然シラバスが変更され、出題傾向がガラリと変わってしまったらどうなるでしょうか？ 「過去問と本番のテストは同じ傾向だ」という前提（i.i.d.仮定）が崩れた瞬間、その受験生は応用が効かず、全く点数が取れなくなってしまいます。

実は、生身の人間を扱う絶えず変化する医療現場において、この「過去と未来のデータが全く同じ分布を保ち続ける」という静的な仮定が長期間維持されることは、極めて稀なのです (Finlayson et al. 2021)。

データセットシフト：過去の常識が未来に通用しない背景

このi.i.d.仮定が崩れ、データの性質が変わってしまう現象は、データサイエンスの用語で「データセットシフト（Dataset Shift）」と呼ばれます。実際に現場でこんな事例を耳にしたことはありませんか？

ある有名な大学病院で非常に高精度に機能していた「敗血症予測AI」を、意気揚々と別の市中病院に導入した途端、全く使い物にならず誤警報ばかり出すようになってしまった、というケースです。これは、病院間で検査機器の基準値が微妙に異なっていたり、患者の重症度バイアスが違ったり、医師の電子カルテの入力フォーマットや習慣が異なったりするため、データセットシフトが起きてしまった典型例です。

さらに恐ろしいのは、病院という場所が変わらなくても「時間」と共にシフトが起きることです。全く同じ病院であっても、新しい診療ガイドラインの導入、画期的な新薬の登場、新型コロナウイルスのようなパンデミックの発生、さらには保険制度や診療報酬の変更などによって、患者集団の性質や医療者の行動パターン（データの分布）は、時間の経過とともに静かに、しかし確実に変化していきます。

私たち人間の医師であれば、「今年は感染症の流行傾向が違うな」「新しいガイドラインに合わせて診断基準を調整しよう」と、現場の空気の変化に柔軟に適応できます。しかし、AIは「世界が変わったこと」に自分から気づくことはできません。過去のルールが永遠に続くと信じ込んでいるため、環境が変われば沈黙したまま、自信満々に誤った予測を出し続けてしまうのです。

私たちがAIを臨床現場で安全に運用するためには、「AIモデルは一度作ったら完成」ではなく、環境の変化によって予測精度が落ちていないかを継続的に監視（モニタリング）し、現場の最新のデータに合わせて再学習を繰り返していく仕組みづくりが何よりも重要になります。

---

医療AIのブラックボックス問題と「解釈可能性」の必要性

先ほどご紹介した「喘息の既往がある肺炎患者は死亡リスクが低い」という、AIの致命的な勘違いの事例を思い出してみてください。もしこれが、中身の全く見えない最先端のAIだったら、私たちはその大誤診のロジックに気づくことができたでしょうか。おそらく、手遅れになるまで誰も気づけなかったはずです。研究者たちがこのミスを事前に察知し、未然に防ぐことができたのは、彼らが使用したモデルが、中身の予測ロジックを人間が目で見て確認できる「解釈可能なモデル」だったからに他なりません。

医療という領域は、ほんの少しの判断ミスが患者さんの人命に直結する、極めてハイリスクな現場です。そんな場所で、「なぜその診断（予測）に至ったのか」という根拠が分からないまま、AIの出してきた高い確率の数字だけを盲信することは、ブレーキの壊れた車に乗り込むようなものであり、非常に危険だと私は感じています。「なぜAIはそう判断したのか」を医師が医学的に検証し、そして何よりも患者さんやそのご家族に納得のいく言葉で説明できなければ、誤ったデータや相関関係に引きずられたAIの暴走を止める「最後の砦」が失われてしまうからです。だからこそ、近年の医療AIの世界では、単に予測の正解率が高いというだけでなく、そのプロセスを人間が理解できる「モデル解釈可能性（Model Interpretability）」が極めて強く重視されるようになっています (Rudin 2019)。

臨床におけるホワイトボックスモデルの価値：決定木と深層学習の対比

では、中身が見えるモデルと見えないモデルには、具体的にどのような違いがあるのでしょうか。データサイエンスの世界では、これらを「ホワイトボックス」と「ブラックボックス」という言葉で分かりやすく分類しています。

例えば、本講座のキーワードでもある「決定木（Decision Tree）」は、典型的なホワイトボックスモデルの代表格です。決定木は、まるで私たちが臨床現場で行うフローチャートのように、「もし年齢が65歳以上であれば右へ、そうでなければ左へ」「さらに血圧が○○以上なら…」というように、人間が直感的に読んで理解できるルールの条件分岐を積み重ねて予測を行います。これなら、もしAIが変な予測を出したとしても、「あ、ここで喘息の有無を誤って解釈したんだな」と、医師がその原因を即座に突き止めることができます。

一方で、現在の医療AIブームの主役とも言える「ディープラーニング（深層学習）」などの複雑なモデルは、圧倒的な予測精度や画像認識能力を誇る反面、その中身は数百万、数千万個のパラメータが複雑に絡み合った、まさに暗黒の「ブラックボックス」です (Cabitza et al. 2017)。

日常の道具で例えるなら、ボタンを一つ押すだけで最高に美味しい料理が自動で出てくる「魔法の全自動調理家電」のようなものです。調子が良いうちは最高に便利ですが、ある日突然、味が激変したり、見たこともない異物が混入していたりしたとき、中身の構造やプログラミングがブラックボックス化されていると、開発者でさえ「なぜその味になったのか」の原因を分解して修理することができません。医療の現場でこれと同じことが起きると想像すると、ぞっとしませんか？