🎯 [Series R] Medical RL : コース概要
最適な「次の一手」を導き出す。
治療戦略の最適化や動的な意思決定支援。試行錯誤を通じて学習する「強化学習」の理論を学び、静的な予測を超えた、動的な医療AIアプローチを探求します。
目次
[Series R] Medical RL : コースの全体像
第0部：導入と基礎 — 予測から「介入」するAIへ
| ID | タイトル | 概要・キーワード |
|---|---|---|
| R00 | 第00回：序論：制御と推論の融合 | サイバネティクス, 制御理論, 予測と介入の違い, 逐次的実意思決定, エージェント・環境ループ, 報酬仮説, 精密医療 |
| R01 | 第01回：分類：強化学習の体系的地図 | モデルフリー vs モデルベース, 価値ベース vs 方策ベース, オン方策 vs オフ方策, オンライン vs オフライン, バンディット vs RL |
| R02 | 第02回：環境構築：医療デジタルツイン | Gymnasium (OpenAI Gym), PettingZoo, 常微分方程式 (ODE), 薬物動態学 (PK/PD), がん増殖モデル, ICUシミュレーション, 報酬設計 |
| R03 | 第03回：多腕バンディット (MAB)：状態なき最適化 | 探索と活用, リグレット（後悔）最小化, ε-greedy法, UCB1 (信頼区間上限), 確率的バンディット, A/Bテストとの違い |
| R04 | 第04回：文脈付きバンディット：適応的臨床試験 | LinUCB, トンプソンサンプリング, ベイズ的バンディット, 患者の異質性, 適応的ランダム化, 臨床試験の最適化 |
| R05 | 第05回：Pythonによる高性能RL実装 | PyTorch, JAX, Flax, Optax, ベクトル化環境, GPU加速シミュレーション, Ray RLLib, Hydra, WandB (実験管理) |
| R06 | 第06回：強化学習のための確率・統計 | 確率変数, 条件付き確率, 期待値, 分散, ベイズの定理, 重点サンプリング, KLダイバージェンス, エントロピー |
| R07 | 第07回：最適化理論 | 勾配降下法, 確率的勾配降下法 (SGD), Adam, RMSprop, リプシッツ連続性, 凸最適化, 局所解, 鞍点 |
| R08 | 第08回：Project 0：最適投薬量探索バンディット | 用量探索試験, 毒性と薬効のトレードオフ, 実装演習, リグレット解析, シミュレーション研究 |
| R09 | 第09回：RLのための医療データ前処理 | 電子カルテ (EHR) データ, 時系列処理, 欠損値補完, 正規化, 状態空間の構築, 行動の離散化, コホート選択 |
第0部：導入と基礎 — 予測から「介入」するAIへ
- 第00回：R00：序論：制御と推論の融合
└ サイバネティクス, 制御理論, 予測と介入の違い, 逐次的実意思決定, エージェント・環境ループ, 報酬仮説, 精密医療 - 第01回：R01：分類：強化学習の体系的地図
└ モデルフリー vs モデルベース, 価値ベース vs 方策ベース, オン方策 vs オフ方策, オンライン vs オフライン, バンディット vs RL - 第02回：R02：環境構築：医療デジタルツイン
└ Gymnasium (OpenAI Gym), PettingZoo, 常微分方程式 (ODE), 薬物動態学 (PK/PD), がん増殖モデル, ICUシミュレーション, 報酬設計 - 第03回：R03：多腕バンディット (MAB)：状態なき最適化
└ 探索と活用, リグレット（後悔）最小化, ε-greedy法, UCB1 (信頼区間上限), 確率的バンディット, A/Bテストとの違い - 第04回：R04：文脈付きバンディット：適応的臨床試験
└ LinUCB, トンプソンサンプリング, ベイズ的バンディット, 患者の異質性, 適応的ランダム化, 臨床試験の最適化 - 第05回：R05：Pythonによる高性能RL実装
└ PyTorch, JAX, Flax, Optax, ベクトル化環境, GPU加速シミュレーション, Ray RLLib, Hydra, WandB (実験管理) - 第06回：R06：強化学習のための確率・統計
└ 確率変数, 条件付き確率, 期待値, 分散, ベイズの定理, 重点サンプリング, KLダイバージェンス, エントロピー - 第07回：R07：最適化理論
└ 勾配降下法, 確率的勾配降下法 (SGD), Adam, RMSprop, リプシッツ連続性, 凸最適化, 局所解, 鞍点 - 第08回：R08：Project 0：最適投薬量探索バンディット
└ 用量探索試験, 毒性と薬効のトレードオフ, 実装演習, リグレット解析, シミュレーション研究 - 第09回：R09：RLのための医療データ前処理
└ 電子カルテ (EHR) データ, 時系列処理, 欠損値補完, 正規化, 状態空間の構築, 行動の離散化, コホート選択
第I部：理論の核心 — MDPと古典的アルゴリズム
| ID | タイトル | 概要・キーワード |
|---|---|---|
| R10 | 第10回：MDPの基礎 I：数学的定義 | マルコフ決定過程 (MDP), 状態空間 ($S$), 行動空間 ($A$), 遷移核 ($P$), 報酬関数 ($R$), 割引率 ($\gamma$), 有限・無限ホライズン |
| R11 | 第11回：MDPの基礎 II：マルコフ性と病態 | マルコフ性, 履歴依存性, 状態表現学習, 観測可能 vs 潜在変数, バイオマーカー, バイタルサインの動態 |
| R12 | 第12回：ベルマン方程式と価値関数 | 状態価値 ($V$), 行動価値 ($Q$), ベルマン期待方程式, ベルマン最適方程式, 再帰的構造, 収益 ($G_t$) |
| R13 | 第13回：動的計画法 I：方策反復 | モデルベース, プランニング, 方策評価, 方策改善, 収束証明, 既存医療ガイドラインの評価 |
| R14 | 第14回：動的計画法 II：価値反復 | 縮小写像, バナッハの不動点定理, 最適性ギャップ, 計算複雑性, グリッドワールド |
| R15 | 第15回：モンテカルロ法 | モデルフリー, エピソード形式, 初回訪問MC, 毎回訪問MC, 平均二乗誤差, 生存時間解析, 終端状態（退院/死亡） |
| R16 | 第16回：時間的差分 (TD) 学習 | ブートストラップ, TD誤差, TD(0), バイアスとバリアンスのトレードオフ, オンライン学習, 適格度トレース ($TD(\lambda)$) |
| R17 | 第17回：SARSA：オン方策制御 | State-Action-Reward-State-Action, 挙動方策, 学習中の安全性, 臨床プロトコル遵守, ソフトな方策更新 |
| R18 | 第18回：Q学習：オフ方策制御 | 目標方策 vs 挙動方策, Max演算子, 貪欲方策, 最適制御の探索, 収束条件 |
| R19 | 第19回：医療における探索戦略 | ε-greedy法, ボルツマン探索, UCB, 内発的動機づけ, エントロピーボーナス, 倫理的制約, 安全な探索 |
第I部：理論の核心 — MDPと古典的アルゴリズム
- 第10回：R10：MDPの基礎 I：数学的定義
└ マルコフ決定過程 (MDP), 状態空間 ($S$), 行動空間 ($A$), 遷移核 ($P$), 報酬関数 ($R$), 割引率 ($\gamma$), 有限・無限ホライズン - 第11回：R11：MDPの基礎 II：マルコフ性と病態
└ マルコフ性, 履歴依存性, 状態表現学習, 観測可能 vs 潜在変数, バイオマーカー, バイタルサインの動態 - 第12回：R12：ベルマン方程式と価値関数
└ 状態価値 ($V$), 行動価値 ($Q$), ベルマン期待方程式, ベルマン最適方程式, 再帰的構造, 収益 ($G_t$) - 第13回：R13：動的計画法 I：方策反復
└ モデルベース, プランニング, 方策評価, 方策改善, 収束証明, 既存医療ガイドラインの評価 - 第14回：R14：動的計画法 II：価値反復
└ 縮小写像, バナッハの不動点定理, 最適性ギャップ, 計算複雑性, グリッドワールド - 第15回：R15：モンテカルロ法
└ モデルフリー, エピソード形式, 初回訪問MC, 毎回訪問MC, 平均二乗誤差, 生存時間解析, 終端状態（退院/死亡） - 第16回：R16：時間的差分 (TD) 学習
└ ブートストラップ, TD誤差, TD(0), バイアスとバリアンスのトレードオフ, オンライン学習, 適格度トレース ($TD(\lambda)$) - 第17回：R17：SARSA：オン方策制御
└ State-Action-Reward-State-Action, 挙動方策, 学習中の安全性, 臨床プロトコル遵守, ソフトな方策更新 - 第18回：R18：Q学習：オフ方策制御
└ 目標方策 vs 挙動方策, Max演算子, 貪欲方策, 最適制御の探索, 収束条件 - 第19回：R19：医療における探索戦略
└ ε-greedy法, ボルツマン探索, UCB, 内発的動機づけ, エントロピーボーナス, 倫理的制約, 安全な探索
第II部：深層への飛躍 — DQNとValueベースの進化
| ID | タイトル | 概要・キーワード |
|---|---|---|
| R20 | 第20回：Deep Q-Networks (DQN) | 関数近似, CNN, 多層パーセプトロン, Qネットワーク, 損失関数, 勾配降下, Atariゲーム, 次元の呪い |
| R21 | 第21回：学習安定化：経験再生とターゲット | 経験再生 (Experience Replay), 独立同一分布(IID)仮定, 壊滅的忘却, データの相関, ターゲットネットワーク, ソフト更新 |
| R22 | 第22回：Double DQN (DDQN) | 過大評価バイアス, 最大化バイアス, 行動選択と評価の分離, 価値推定誤差, 医療リスク管理 |
| R23 | 第23回：Dueling Network アーキテクチャ | 状態価値ストリーム, アドバンテージストリーム, 識別可能性, 行動独立価値, ベースライン, 構造的改善 |
| R24 | 第24回：優先順位付き経験再生 (PER) | TD誤差, 重点サンプリング重み, 確率的優先順位付け, 二分ヒープ, 稀なイベント, 重症症例の学習 |
| R25 | 第25回：探索のためのNoisy Networks | パラメータ空間ノイズ, 決定論的方策, 状態依存探索, 変分推論, 重みの不確実性 |
| R26 | 第26回：分布型強化学習：C51 & QR-DQN | 価値分布, カテゴリカル分布, 分位点回帰, リスク感受性RL, ワッサースタイン計量, 偶然的不確実性 |
| R27 | 第27回：Nステップ学習と適格度トレース | マルチステップ収益, 報酬の伝播, 遅延報酬, バイアス・バリアンス制御, 前方観測, 後方観測 |
| R28 | 第28回：Rainbow：統合されたベースライン | アブレーション研究, SOTA価値ベース手法, ハイパーパラメータ調整, サンプル効率, 手法の統合 |
| R29 | 第29回：Apexと分散強化学習 | 分散経験再生, アクターとラーナーの分離, 高スループット, 非同期更新, スケーラビリティ |
第II部：深層への飛躍 — DQNとValueベースの進化
- 第20回：R20：Deep Q-Networks (DQN)
└ 関数近似, CNN, 多層パーセプトロン, Qネットワーク, 損失関数, 勾配降下, Atariゲーム, 次元の呪い - 第21回：R21：学習安定化：経験再生とターゲット
└ 経験再生 (Experience Replay), 独立同一分布(IID)仮定, 壊滅的忘却, データの相関, ターゲットネットワーク, ソフト更新 - 第22回：R22：Double DQN (DDQN)
└ 過大評価バイアス, 最大化バイアス, 行動選択と評価の分離, 価値推定誤差, 医療リスク管理 - 第23回：R23：Dueling Network アーキテクチャ
└ 状態価値ストリーム, アドバンテージストリーム, 識別可能性, 行動独立価値, ベースライン, 構造的改善 - 第24回：R24：優先順位付き経験再生 (PER)
└ TD誤差, 重点サンプリング重み, 確率的優先順位付け, 二分ヒープ, 稀なイベント, 重症症例の学習 - 第25回：R25：探索のためのNoisy Networks
└ パラメータ空間ノイズ, 決定論的方策, 状態依存探索, 変分推論, 重みの不確実性 - 第26回：R26：分布型強化学習：C51 & QR-DQN
└ 価値分布, カテゴリカル分布, 分位点回帰, リスク感受性RL, ワッサースタイン計量, 偶然的不確実性 - 第27回：R27：Nステップ学習と適格度トレース
└ マルチステップ収益, 報酬の伝播, 遅延報酬, バイアス・バリアンス制御, 前方観測, 後方観測 - 第28回：R28：Rainbow：統合されたベースライン
└ アブレーション研究, SOTA価値ベース手法, ハイパーパラメータ調整, サンプル効率, 手法の統合 - 第29回：R29：Apexと分散強化学習
└ 分散経験再生, アクターとラーナーの分離, 高スループット, 非同期更新, スケーラビリティ
第III部：現代の標準 — PPO・SACと連続値制御
| ID | タイトル | 概要・キーワード |
|---|---|---|
| R30 | 第30回：方策勾配定理 (Policy Gradient Theorem) | 方策のパラメータ化, 目的関数, 対数微分法, 勾配上昇法, 確率的方策, 直接最適化 |
| R31 | 第31回：REINFORCE | モンテカルロ方策勾配, 高い分散, スコア関数, 軌跡サンプリング, Vanilla PG |
| R32 | 第32回：アクター・クリティック (Actor-Critic) | アクター(方策), クリティック(価値), アドバンテージとしてのTD誤差, 分散低減, ブートストラップ, バイアスの導入 |
| R33 | 第33回：アドバンテージ推定 (GAE) | 一般化アドバンテージ推定, $\lambda$-return, 価値関数ベースライン, 信用割当, 時間スケール |
| R34 | 第34回：信頼領域方策最適化 (TRPO) | 信頼領域, KLダイバージェンス制約, 自然勾配法, 代理目的関数, 単調改善性, 共役勾配法 |
| R35 | 第35回：PPO (Proximal Policy Optimization) | クリップされた代理目的関数, PPO-Clip, PPO-Penalty, 単純さと堅牢性, デファクトスタンダード, 実装の勘所 |
| R36 | 第36回：連続値制御：DDPG | Deep Deterministic Policy Gradient, アクター・クリティック, リプレイバッファ, ソフトターゲット更新, OUノイズ, 連続行動空間 (投薬量) |
| R37 | 第37回：TD3 (Twin Delayed DDPG) | アクター・クリティックの過大評価, ツインクリティック, 方策更新の遅延, ターゲット方策の平滑化, ロバスト制御 |
| R38 | 第38回：Soft Actor-Critic (SAC) | 最大エントロピー強化学習, エントロピー正則化, 確率的方策, オフ方策, 温度パラメータ ($\alpha$), 探索と安定性 |
| R39 | 第39回：医療におけるPPO vs SAC | オン方策 vs オフ方策, サンプル効率 vs 安定性, ハイパーパラメータ感度, 臨床ユースケースの選択 |
第III部：現代の標準 — PPO・SACと連続値制御
- 第30回：R30：方策勾配定理 (Policy Gradient Theorem)
└ 方策のパラメータ化, 目的関数, 対数微分法, 勾配上昇法, 確率的方策, 直接最適化 - 第31回：R31：REINFORCE
└ モンテカルロ方策勾配, 高い分散, スコア関数, 軌跡サンプリング, Vanilla PG - 第32回：R32：アクター・クリティック (Actor-Critic)
└ アクター(方策), クリティック(価値), アドバンテージとしてのTD誤差, 分散低減, ブートストラップ, バイアスの導入 - 第33回：R33：アドバンテージ推定 (GAE)
└ 一般化アドバンテージ推定, $\lambda$-return, 価値関数ベースライン, 信用割当, 時間スケール - 第34回：R34：信頼領域方策最適化 (TRPO)
└ 信頼領域, KLダイバージェンス制約, 自然勾配法, 代理目的関数, 単調改善性, 共役勾配法 - 第35回：R35：PPO (Proximal Policy Optimization)
└ クリップされた代理目的関数, PPO-Clip, PPO-Penalty, 単純さと堅牢性, デファクトスタンダード, 実装の勘所 - 第36回：R36：連続値制御：DDPG
└ Deep Deterministic Policy Gradient, アクター・クリティック, リプレイバッファ, ソフトターゲット更新, OUノイズ, 連続行動空間 (投薬量) - 第37回：R37：TD3 (Twin Delayed DDPG)
└ アクター・クリティックの過大評価, ツインクリティック, 方策更新の遅延, ターゲット方策の平滑化, ロバスト制御 - 第38回：R38：Soft Actor-Critic (SAC)
└ 最大エントロピー強化学習, エントロピー正則化, 確率的方策, オフ方策, 温度パラメータ ($\alpha$), 探索と安定性 - 第39回：R39：医療におけるPPO vs SAC
└ オン方策 vs オフ方策, サンプル効率 vs 安定性, ハイパーパラメータ感度, 臨床ユースケースの選択
第IV部：言語と推論 — LLM・RLHF・DeepSeekの衝撃
| ID | タイトル | 概要・キーワード |
|---|---|---|
| R40 | 第40回：LLMとRLHF：概要 | 大規模言語モデル, アライメント, 有用性・無害性, InstructGPT, 人間のフィードバック, ラベリング |
| R41 | 第41回：報酬モデリング (Reward Modeling) | Bradley-Terryモデル, 一対比較, イロレーティング, 選好データ, 報酬ハッキング, 過剰最適化 |
| R42 | 第42回：LLMアライメントのためのPPO | KLペナルティ, 適応的KL, 方策の初期化, 価値ヘッド, 言語生成, ファインチューニング |
| R43 | 第43回：DPO (直接選好最適化) | 閉形式解, 暗黙の報酬, 参照モデル, 学習の安定性, 報酬モデル不要, メモリ効率 |
| R44 | 第44回：KTO / IPO / ORPO | カーネマン・トベルスキー最適化, 同一性選好最適化, オッズ比PO, プロスペクト理論, 損失回避 |
| R45 | 第45回：DeepSeek-R1とGRPO (1)：概念 | グループ相対方策最適化 (GRPO), 推論モデル, 論理と数学, 効率性, クリティック不要の学習 |
| R46 | 第46回：DeepSeek-R1とGRPO (2)：メカニズム | グループサンプリング, グループ正規化, クリティック無しの優位性計算, 更新時のKL制約, 計算コスト削減 |
| R47 | 第47回：思考の連鎖 (CoT) と強化学習 | 推論の痕跡, 多段階推論, 思考生成, 中間ステップ, 診断ロジック, 説明能力 |
| R48 | 第48回：プロセス報酬モデル (PRM) | ステップごとの監視, 密な報酬, 結果報酬モデル (ORM), モンテカルロ木探索 (MCTS), 検証 |
| R49 | 第49回：自己修正と合成データ | Constitutional AI, RLAIF (AIフィードバック), 自己対戦 (Self-Play), 合成軌跡, 反復的洗練, データ拡張 |
第IV部：言語と推論 — LLM・RLHF・DeepSeekの衝撃
- 第40回：R40：LLMとRLHF：概要
└ 大規模言語モデル, アライメント, 有用性・無害性, InstructGPT, 人間のフィードバック, ラベリング - 第41回：R41：報酬モデリング (Reward Modeling)
└ Bradley-Terryモデル, 一対比較, イロレーティング, 選好データ, 報酬ハッキング, 過剰最適化 - 第42回：R42：LLMアライメントのためのPPO
└ KLペナルティ, 適応的KL, 方策の初期化, 価値ヘッド, 言語生成, ファインチューニング - 第43回：R43：DPO (直接選好最適化)
└ 閉形式解, 暗黙の報酬, 参照モデル, 学習の安定性, 報酬モデル不要, メモリ効率 - 第44回：R44：KTO / IPO / ORPO
└ カーネマン・トベルスキー最適化, 同一性選好最適化, オッズ比PO, プロスペクト理論, 損失回避 - 第45回：R45：DeepSeek-R1とGRPO (1)：概念
└ グループ相対方策最適化 (GRPO), 推論モデル, 論理と数学, 効率性, クリティック不要の学習 - 第46回：R46：DeepSeek-R1とGRPO (2)：メカニズム
└ グループサンプリング, グループ正規化, クリティック無しの優位性計算, 更新時のKL制約, 計算コスト削減 - 第47回：R47：思考の連鎖 (CoT) と強化学習
└ 推論の痕跡, 多段階推論, 思考生成, 中間ステップ, 診断ロジック, 説明能力 - 第48回：R48：プロセス報酬モデル (PRM)
└ ステップごとの監視, 密な報酬, 結果報酬モデル (ORM), モンテカルロ木探索 (MCTS), 検証 - 第49回：R49：自己修正と合成データ
└ Constitutional AI, RLAIF (AIフィードバック), 自己対戦 (Self-Play), 合成軌跡, 反復的洗練, データ拡張
第V部：実臨床の壁 — オフライン強化学習の挑戦
| ID | タイトル | 概要・キーワード |
|---|---|---|
| R50 | 第50回：オフライン強化学習：導入 | バッチ強化学習, 静的データセット, 相互作用なし, 分布シフト, 反実仮想的クエリ, 医療における必然性 |
| R51 | 第51回：OODの課題 (外挿誤差) | 分布外 (OOD) 行動, Q値の爆発, 過大評価, サポート制約, 認識論的不確実性 |
| R52 | 第52回：行動模倣 (BC) とその変種 | 教師あり学習, 模倣, 共変量シフト, 誤差の蓄積, フィルタ付きBC, パーセンタイルBC |
| R53 | 第53回：BCQ (Batch-Constrained deep Q-learning) | VAE (変分オートエンコーダ), 摂動モデル, 行動排除, 分布マッチング, 制約 |
| R54 | 第54回：BEAR (Bootstrapping Error Accumulation Reduction) | MMD (最大平均不一致), カーネル法, サポート集合制約, 方策改善の制限 |
| R55 | 第55回：CQL (Conservative Q-Learning) | Q値正則化, 下界最大化, 不確実性に対する悲観的更新, オフラインRLの標準手法 |
| R56 | 第56回：IQL (Implicit Q-Learning) | エクスペクタイル回帰, In-sample学習, OODクエリなし, 安定性, 教師あり学習的なRL, SOTA |
| R57 | 第57回：Decision Transformer (DT) | 系列モデリングとしてのRL, Transformer, Return-to-go, GPTアーキテクチャ, 軌跡予測, 注意機構 |
| R58 | 第58回：Trajectory Transformer (TT) & Gato | ビームサーチ, プランニング, ジェネラリストエージェント, マルチモーダル, トークン化, 大規模オフラインRL |
| R59 | 第59回：オフ方策評価 (OPE) | 重点サンプリング (IS), 重み付きIS, Doubly Robust (DR), Fitted Q Evaluation (FQE), 信頼区間, モデル選択 |
第V部：実臨床の壁 — オフライン強化学習の挑戦
- 第50回：R50：オフライン強化学習：導入
└ バッチ強化学習, 静的データセット, 相互作用なし, 分布シフト, 反実仮想的クエリ, 医療における必然性 - 第51回：R51：OODの課題 (外挿誤差)
└ 分布外 (OOD) 行動, Q値の爆発, 過大評価, サポート制約, 認識論的不確実性 - 第52回：R52：行動模倣 (BC) とその変種
└ 教師あり学習, 模倣, 共変量シフト, 誤差の蓄積, フィルタ付きBC, パーセンタイルBC - 第53回：R53：BCQ (Batch-Constrained deep Q-learning)
└ VAE (変分オートエンコーダ), 摂動モデル, 行動排除, 分布マッチング, 制約 - 第54回：R54：BEAR (Bootstrapping Error Accumulation Reduction)
└ MMD (最大平均不一致), カーネル法, サポート集合制約, 方策改善の制限 - 第55回：R55：CQL (Conservative Q-Learning)
└ Q値正則化, 下界最大化, 不確実性に対する悲観的更新, オフラインRLの標準手法 - 第56回：R56：IQL (Implicit Q-Learning)
└ エクスペクタイル回帰, In-sample学習, OODクエリなし, 安定性, 教師あり学習的なRL, SOTA - 第57回：R57：Decision Transformer (DT)
└ 系列モデリングとしてのRL, Transformer, Return-to-go, GPTアーキテクチャ, 軌跡予測, 注意機構 - 第58回：R58：Trajectory Transformer (TT) & Gato
└ ビームサーチ, プランニング, ジェネラリストエージェント, マルチモーダル, トークン化, 大規模オフラインRL - 第59回：R59：オフ方策評価 (OPE)
└ 重点サンプリング (IS), 重み付きIS, Doubly Robust (DR), Fitted Q Evaluation (FQE), 信頼区間, モデル選択
第VI部：高度な知能 — 世界モデル・記憶・マルチエージェント
| ID | タイトル | 概要・キーワード |
|---|---|---|
| R60 | 第60回：モデルベース強化学習：Dyna-Q | 環境モデル, プランニング, 模擬経験, サンプル効率, テーブル形式プランニング, 統合 |
| R61 | 第61回：深層モデルベース強化学習 | モデル予測制御 (MPC), PETS, アンサンブルモデル, 偶然的 vs 認識論的不確実性, ダイナミクス学習 |
| R62 | 第62回：世界モデル (World Models) | VAE, RNN (MDN-RNN), コントローラ, 潜在空間での幻覚, 「夢の中での学習」, Ha & Schmidhuber |
| R63 | 第63回：Dreamer (V1/V2/V3) | 回帰状態空間モデル (RSSM), 画像再構成, 潜在ダイナミクス, 離散潜在変数, Atariマスターレベル, 医用画像制御 |
| R64 | 第64回：MuZero & AlphaZero | モンテカルロ木探索 (MCTS), 学習済みモデル, 価値・方策, 報酬予測, ルールなしプランニング, 先読み |
| R65 | 第65回：POMDP：部分観測マルコフ決定過程 | 信念状態 (Belief State), 隠れ状態, 観測確率, フィルタ, 医療診断, 欠損データ |
| R66 | 第66回：メモリベース強化学習 | LSTM, GRU, Transformer-XL, 回帰的方策, 時間的文脈, 病歴処理, ADR (アルゴリズム蒸留) |
| R67 | 第67回：マルチエージェント強化学習 (MARL) | ナッシュ均衡, 協調 vs 競争, 集中学習・分散実行 (CTDE), チーム医療, リソース配分 |
| R68 | 第68回：QMIX & VDN | 価値分解, 単調性制約, 大域的Q値, 結合行動, 協調, 信用割当 |
| R69 | 第69回：階層型強化学習 (HRL) | オプションフレームワーク, 時間的抽象化, Semi-MDP, サブゴール, マネージャー・ワーカー, FeUdal Networks, 長期治療計画 |
第VI部：高度な知能 — 世界モデル・記憶・マルチエージェント
- 第60回：R60：モデルベース強化学習：Dyna-Q
└ 環境モデル, プランニング, 模擬経験, サンプル効率, テーブル形式プランニング, 統合 - 第61回：R61：深層モデルベース強化学習
└ モデル予測制御 (MPC), PETS, アンサンブルモデル, 偶然的 vs 認識論的不確実性, ダイナミクス学習 - 第62回：R62：世界モデル (World Models)
└ VAE, RNN (MDN-RNN), コントローラ, 潜在空間での幻覚, 「夢の中での学習」, Ha & Schmidhuber - 第63回：R63：Dreamer (V1/V2/V3)
└ 回帰状態空間モデル (RSSM), 画像再構成, 潜在ダイナミクス, 離散潜在変数, Atariマスターレベル, 医用画像制御 - 第64回：R64：MuZero & AlphaZero
└ モンテカルロ木探索 (MCTS), 学習済みモデル, 価値・方策, 報酬予測, ルールなしプランニング, 先読み - 第65回：R65：POMDP：部分観測マルコフ決定過程
└ 信念状態 (Belief State), 隠れ状態, 観測確率, フィルタ, 医療診断, 欠損データ - 第66回：R66：メモリベース強化学習
└ LSTM, GRU, Transformer-XL, 回帰的方策, 時間的文脈, 病歴処理, ADR (アルゴリズム蒸留) - 第67回：R67：マルチエージェント強化学習 (MARL)
└ ナッシュ均衡, 協調 vs 競争, 集中学習・分散実行 (CTDE), チーム医療, リソース配分 - 第68回：R68：QMIX & VDN
└ 価値分解, 単調性制約, 大域的Q値, 結合行動, 協調, 信用割当 - 第69回：R69：階層型強化学習 (HRL)
└ オプションフレームワーク, 時間的抽象化, Semi-MDP, サブゴール, マネージャー・ワーカー, FeUdal Networks, 長期治療計画
第VII部：信頼の構築 — 安全性・因果推論・説明可能性
| ID | タイトル | 概要・キーワード |
|---|---|---|
| R70 | 第70回：安全な強化学習 & 制約付きMDP (CMDP) | 安全性制約, コスト信号, ラグランジュ乗数, 主双対最適化, 実行可能領域, リスク回避 |
| R71 | 第71回：CPO (Constrained Policy Optimization) | 信頼領域, 線形制約, 安全性保証, 副作用最小化, 「害をなさない」原則 |
| R72 | 第72回：逆強化学習 (IRL) | 報酬関数の復元, エキスパートのデモンストレーション, 不良設定問題, 特徴マッチング, 見習い学習 |
| R73 | 第73回：最大エントロピーIRL & GAIL | 最大エントロピー原理, 確率的挙動, GAN (敵対的生成NW), 報酬としての識別器, 模倣 |
| R74 | 第74回：因果強化学習 (Causal RL) | 因果推論, 交絡, Do演算子, 反事実 (Counterfactuals), 構造的因果モデル (SCM), 介入 vs 観測 |
| R75 | 第75回：説明可能強化学習 (XRL) | サリエンシーマップ, 注意重み, 決定木への蒸留, 論理ルールの抽出, 反実仮想的説明, 信頼 |
| R76 | 第76回：メタ強化学習 (Meta-RL) | 学習の学習 (Learning to Learn), Few-shot学習, MAML, RL^2, タスク適応, 個別化医療 |
| R77 | 第77回：連合強化学習 (Federated RL) | プライバシー保護, 分散学習, ローカル更新, グローバル集約, 非IIDデータ, 多施設連携 |
| R78 | 第78回：Sim-to-Real 転移 | ドメインランダム化, リアリティギャップ, システム同定, ロバスト性, デジタルツインの校正 |
| R79 | 第79回：カリキュラム学習 | タスク難易度, スケジューリング, 報酬シェイピング, スキル獲得, スモールスタート, 学習効率 |
第VII部：信頼の構築 — 安全性・因果推論・説明可能性
- 第70回：R70：安全な強化学習 & 制約付きMDP (CMDP)
└ 安全性制約, コスト信号, ラグランジュ乗数, 主双対最適化, 実行可能領域, リスク回避 - 第71回：R71：CPO (Constrained Policy Optimization)
└ 信頼領域, 線形制約, 安全性保証, 副作用最小化, 「害をなさない」原則 - 第72回：R72：逆強化学習 (IRL)
└ 報酬関数の復元, エキスパートのデモンストレーション, 不良設定問題, 特徴マッチング, 見習い学習 - 第73回：R73：最大エントロピーIRL & GAIL
└ 最大エントロピー原理, 確率的挙動, GAN (敵対的生成NW), 報酬としての識別器, 模倣 - 第74回：R74：因果強化学習 (Causal RL)
└ 因果推論, 交絡, Do演算子, 反事実 (Counterfactuals), 構造的因果モデル (SCM), 介入 vs 観測 - 第75回：R75：説明可能強化学習 (XRL)
└ サリエンシーマップ, 注意重み, 決定木への蒸留, 論理ルールの抽出, 反実仮想的説明, 信頼 - 第76回：R76：メタ強化学習 (Meta-RL)
└ 学習の学習 (Learning to Learn), Few-shot学習, MAML, RL^2, タスク適応, 個別化医療 - 第77回：R77：連合強化学習 (Federated RL)
└ プライバシー保護, 分散学習, ローカル更新, グローバル集約, 非IIDデータ, 多施設連携 - 第78回：R78：Sim-to-Real 転移
└ ドメインランダム化, リアリティギャップ, システム同定, ロバスト性, デジタルツインの校正 - 第79回：R79：カリキュラム学習
└ タスク難易度, スケジューリング, 報酬シェイピング, スキル獲得, スモールスタート, 学習効率
第VIII部：実践ケーススタディ — 敗血症・がん治療・創薬
| ID | タイトル | 概要・キーワード |
|---|---|---|
| R80 | 第80回：ケーススタディ：敗血症 (MIMIC-IV) | Sepsis-3定義, 輸液, 昇圧剤, SOFAスコア, 乳酸値, 死亡率低減, AI Clinician (Komorowski) |
| R81 | 第81回：ケーススタディ：放射線治療 & 化学療法 | 腫瘍ダイナミクス, 線量最適化, 分割照射, 毒性制約, 腫瘍制御確率 (TCP), 正常組織合併症確率 (NTCP) |
| R82 | 第82回：ケーススタディ：閉ループ麻酔制御 | プロポフォール, BISモニター, 麻酔深度, PID制御 vs RL, 連続制御, 安全境界 |
| R83 | 第83回：ケーススタディ：人工呼吸器管理 | ウィーニング（離脱）, PEEP, FiO2, 呼吸数, 患者・人工呼吸器非同調, ARDS管理 |
| R84 | 第84回：ケーススタディ：慢性疾患管理 | 糖尿病（人工膵臓）, 高血圧, 行動変容介入, モバイルヘルス (mHealth), JITAI (適時適応介入) |
| R85 | 第85回：ケーススタディ：救急トリアージ | 待ち行列理論, リソース制約, 優先順位付け, ESIレベル, 待ち時間短縮, 生存率最適化 |
| R86 | 第86回：ケーススタディ：創薬 (MolDQN) | 分子生成, QED, LogP, 合成容易性, グラフニューラルネットワーク, 多目的最適化 |
| R87 | 第87回：ケーススタディ：医用画像取得の最適化 | MRI撮像高速化, アクティブセンシング, ROI選択, CT線量低減, 超音波ガイド |
| R88 | 第88回：ケーススタディ：リハビリ & ロボティクス | 外骨格ロボット, アシスト制御, 歩行最適化, 人間とロボットの相互作用, インピーダンス制御 |
| R89 | 第89回：キャップストーンプロジェクト：実装 | 問題定義, MDP定式化, データセット処理, アルゴリズム選択, OPEによる評価, 感度分析, 報告書 |
第VIII部：実践ケーススタディ — 敗血症・がん治療・創薬
- 第80回：R80：ケーススタディ：敗血症 (MIMIC-IV)
└ Sepsis-3定義, 輸液, 昇圧剤, SOFAスコア, 乳酸値, 死亡率低減, AI Clinician (Komorowski) - 第81回：R81：ケーススタディ：放射線治療 & 化学療法
└ 腫瘍ダイナミクス, 線量最適化, 分割照射, 毒性制約, 腫瘍制御確率 (TCP), 正常組織合併症確率 (NTCP) - 第82回：R82：ケーススタディ：閉ループ麻酔制御
└ プロポフォール, BISモニター, 麻酔深度, PID制御 vs RL, 連続制御, 安全境界 - 第83回：R83：ケーススタディ：人工呼吸器管理
└ ウィーニング（離脱）, PEEP, FiO2, 呼吸数, 患者・人工呼吸器非同調, ARDS管理 - 第84回：R84：ケーススタディ：慢性疾患管理
└ 糖尿病（人工膵臓）, 高血圧, 行動変容介入, モバイルヘルス (mHealth), JITAI (適時適応介入) - 第85回：R85：ケーススタディ：救急トリアージ
└ 待ち行列理論, リソース制約, 優先順位付け, ESIレベル, 待ち時間短縮, 生存率最適化 - 第86回：R86：ケーススタディ：創薬 (MolDQN)
└ 分子生成, QED, LogP, 合成容易性, グラフニューラルネットワーク, 多目的最適化 - 第87回：R87：ケーススタディ：医用画像取得の最適化
└ MRI撮像高速化, アクティブセンシング, ROI選択, CT線量低減, 超音波ガイド - 第88回：R88：ケーススタディ：リハビリ & ロボティクス
└ 外骨格ロボット, アシスト制御, 歩行最適化, 人間とロボットの相互作用, インピーダンス制御 - 第89回：R89：キャップストーンプロジェクト：実装
└ 問題定義, MDP定式化, データセット処理, アルゴリズム選択, OPEによる評価, 感度分析, 報告書
第IX部：社会実装と未来 — 規制科学からAGIまで
| ID | タイトル | 概要・キーワード |
|---|---|---|
| R90 | 第90回：規制科学：AI/MLベースの医療機器 (SaMD) | FDA, PMDA, 所定変更制御計画 (PCCP), 機械学習の良き実践 (GMLP), ライフサイクル管理 |
| R91 | 第91回：適応的AIの臨床試験デザイン | ランダム化比較試験 (RCT), 非劣性試験, 優越性試験, エンドポイント選択, 盲検化評価 |
| R92 | 第92回：医療RLにおける倫理とバイアス | アルゴリズム的公平性, 健康の公平性, 配分バイアス, 自動化バイアス, 説明責任, トロッコ問題 |
| R93 | 第93回：インフラ：RLのためのMLOps | Kubeflow, MLflow, 特徴量ストア, モデルレジストリ, 継続的学習 (CT), モニタリング, ドリフト検出 |
| R94 | 第94回：人間とAIの協調 (Human-in-the-loop) | ヒト介在型, 意思決定支援, 認知的負荷, 信頼の較正, オーバーライド機構, コパイロット |
| R95 | 第95回：医療における基盤モデル | Med-PaLM, BioGPT, Clinical BERT, マルチモーダル学習, ゼロショット汎化, 事前学習 |
| R96 | 第96回：ニューロシンボリックAI | 記号論理, ニューラルネットワーク, ナレッジグラフ, ルール注入, 検証可能性, ハイブリッドシステム |
| R97 | 第97回：量子強化学習 | 量子コンピューティング, 量子ビット, 量子重ね合わせ, グローバー探索, 二次的加速, 将来展望 |
| R98 | 第98回：医療における汎用人工知能 (AGI) へ向けて | 汎用目的医師, 生涯学習, 常識推論, 共感, 未解決問題, シンギュラリティ |
| R99 | 第99回：エピローグ：計算医学 (Computational Medicine) | 次世代教育, 医師・科学者・エンジニア, ヘルスケアの未来, 最終メッセージ |
第IX部：社会実装と未来 — 規制科学からAGIまで
- 第90回：R90：規制科学：AI/MLベースの医療機器 (SaMD)
└ FDA, PMDA, 所定変更制御計画 (PCCP), 機械学習の良き実践 (GMLP), ライフサイクル管理 - 第91回：R91：適応的AIの臨床試験デザイン
└ ランダム化比較試験 (RCT), 非劣性試験, 優越性試験, エンドポイント選択, 盲検化評価 - 第92回：R92：医療RLにおける倫理とバイアス
└ アルゴリズム的公平性, 健康の公平性, 配分バイアス, 自動化バイアス, 説明責任, トロッコ問題 - 第93回：R93：インフラ：RLのためのMLOps
└ Kubeflow, MLflow, 特徴量ストア, モデルレジストリ, 継続的学習 (CT), モニタリング, ドリフト検出 - 第94回：R94：人間とAIの協調 (Human-in-the-loop)
└ ヒト介在型, 意思決定支援, 認知的負荷, 信頼の較正, オーバーライド機構, コパイロット - 第95回：R95：医療における基盤モデル
└ Med-PaLM, BioGPT, Clinical BERT, マルチモーダル学習, ゼロショット汎化, 事前学習 - 第96回：R96：ニューロシンボリックAI
└ 記号論理, ニューラルネットワーク, ナレッジグラフ, ルール注入, 検証可能性, ハイブリッドシステム - 第97回：R97：量子強化学習
└ 量子コンピューティング, 量子ビット, 量子重ね合わせ, グローバー探索, 二次的加速, 将来展望 - 第98回：R98：医療における汎用人工知能 (AGI) へ向けて
└ 汎用目的医師, 生涯学習, 常識推論, 共感, 未解決問題, シンギュラリティ - 第99回：R99：エピローグ：計算医学 (Computational Medicine)
└ 次世代教育, 医師・科学者・エンジニア, ヘルスケアの未来, 最終メッセージ
ご利用規約（免責事項）
当サイト（以下「本サイト」といいます）をご利用になる前に、本ご利用規約（以下「本規約」といいます）をよくお読みください。本サイトを利用された時点で、利用者は本規約の全ての条項に同意したものとみなします。
第1条（目的と情報の性質）
- 本サイトは、医療分野におけるAI技術に関する一般的な情報提供および技術的な学習機会の提供を唯一の目的とします。
- 本サイトで提供されるすべてのコンテンツ（文章、図表、コード、データセットの紹介等を含みますが、これらに限定されません）は、一般的な学習参考用であり、いかなる場合も医学的な助言、診断、治療、またはこれらに準ずる行為（以下「医行為等」といいます）を提供するものではありません。
- 本サイトのコンテンツは、特定の製品、技術、または治療法の有効性、安全性を保証、推奨、または広告・販売促進するものではありません。紹介する技術には研究開発段階のものが含まれており、その臨床応用には、さらなる研究と国内外の規制当局による正式な承認が別途必要です。
- 本サイトは、情報提供を目的としたものであり、特定の治療法を推奨するものではありません。健康に関するご懸念やご相談は、必ず専門の医療機関にご相談ください。
第2条（法令等の遵守）
利用者は、本サイトの利用にあたり、医師法、医薬品、医療機器等の品質、有効性及び安全性の確保等に関する法律（薬機法）、個人情報の保護に関する法律、医療法、医療広告ガイドライン、その他関連する国内外の全ての法令、条例、規則、および各省庁・学会等が定める最新のガイドライン等を、自らの責任において遵守するものとします。これらの適用判断についても、利用者が自ら関係各所に確認するものとし、本サイトは一切の責任を負いません。
第3条（医療行為における責任）
- 本サイトで紹介するAI技術・手法は、あくまで研究段階の技術的解説であり、実際の臨床現場での診断・治療を代替、補助、または推奨するものでは一切ありません。
- 医行為等に関する最終的な判断、決定、およびそれに伴う一切の責任は、必ず法律上その資格を認められた医療専門家（医師、歯科医師等）が負うものとします。AIによる出力を、資格を有する専門家による独立した検証および判断を経ずに利用することを固く禁じます。
- 本サイトの情報に基づくいかなる行為によって利用者または第三者に損害が生じた場合も、本サイト運営者は一切の責任を負いません。実際の臨床判断に際しては、必ず担当の医療専門家にご相談ください。本サイトの利用によって、利用者と本サイト運営者の間に、医師と患者の関係、またはその他いかなる専門的な関係も成立するものではありません。
第4条（情報の正確性・完全性・有用性）
- 本サイトは、掲載する情報（数値、事例、ソースコード、ライブラリのバージョン等）の正確性、完全性、網羅性、有用性、特定目的への適合性、その他一切の事項について、何ら保証するものではありません。
- 掲載情報は執筆時点のものであり、予告なく変更または削除されることがあります。また、技術の進展、ライブラリの更新等により、情報は古くなる可能性があります。利用者は、必ず自身で公式ドキュメント等の最新情報を確認し、自らの責任で情報を利用するものとします。
第5条（AI生成コンテンツに関する注意事項）
本サイトのコンテンツには、AIによる提案を基に作成された部分が含まれる場合がありますが、公開にあたっては人間による監修・編集を経ています。利用者が生成AI等を用いる際は、ハルシネーション（事実に基づかない情報の生成）やバイアスのリスクが内在することを十分に理解し、その出力を鵜呑みにすることなく、必ず専門家による検証を行うものとします。
第6条（知的財産権）
- 本サイトを構成するすべてのコンテンツに関する著作権、商標権、その他一切の知的財産権は、本サイト運営者または正当な権利を有する第三者に帰属します。
- 本サイトのコンテンツを引用、転載、複製、改変、その他の二次利用を行う場合は、著作権法その他関連法規を遵守し、必ず出典を明記するとともに、権利者の許諾を得るなど、適切な手続きを自らの責任で行うものとします。
第7条（プライバシー・倫理）
本サイトで紹介または言及されるデータセット等を利用する場合、利用者は当該データセットに付随するライセンス条件および研究倫理指針を厳格に遵守し、個人情報の匿名化や同意取得の確認など、適用される法規制に基づき必要とされるすべての措置を、自らの責任において講じるものとします。
第8条（利用環境）
本サイトで紹介するソースコードやライブラリは、執筆時点で特定のバージョンおよび実行環境（OS、ハードウェア、依存パッケージ等）を前提としています。利用者の環境における動作を保証するものではなく、互換性の問題等に起因するいかなる不利益・損害についても、本サイト運営者は責任を負いません。
第9条（免責事項）
- 本サイト運営者は、利用者が本サイトを利用したこと、または利用できなかったことによって生じる一切の損害（直接損害、間接損害、付随的損害、特別損害、懲罰的損害、逸失利益、データの消失、プログラムの毀損等を含みますが、これらに限定されません）について、その原因の如何を問わず、一切の法的責任を負わないものとします。
- 本サイトの利用は、学習および研究目的に限定されるものとし、それ以外の目的での利用はご遠慮ください。
- 本サイトの利用に関連して、利用者と第三者との間で紛争が生じた場合、利用者は自らの費用と責任においてこれを解決するものとし、本サイト運営者に一切の迷惑または損害を与えないものとします。
- 本サイト運営者は、いつでも予告なく本サイトの運営を中断、中止、または内容を変更できるものとし、これによって利用者に生じたいかなる損害についても責任を負いません。
第10条（規約の変更）
本サイト運営者は、必要と判断した場合、利用者の承諾を得ることなく、いつでも本規約を変更することができます。変更後の規約は、本サイト上に掲載された時点で効力を生じるものとし、利用者は変更後の規約に拘束されるものとします。
第11条（準拠法および合意管轄）
本規約の解釈にあたっては、日本法を準拠法とします。本サイトの利用および本規約に関連して生じる一切の紛争については、東京地方裁判所を第一審の専属的合意管轄裁判所とします。
For J³, may joy follow you.