TL; DR (要約)
AIは「正解ラベル」がなくても賢くなれます。その秘密が、AI自身が問題を作って学ぶ「自己教師あり学習」です。
これは、現代の高性能AIを支える最も重要な「独学」の技術です。
① 基本的な考え方
(自作クイズで独学)
AIにラベル無しデータから「自作のクイズ」を解かせ、その過程でデータの本質的な構造や「常識」を自力で学習させます。
② 画像での独学法
(対照学習)
「似ている画像ペアは近づけ、違う画像は遠ざける」というゲームを繰り返すことで、画像の特徴を捉える「良い眼」を養います。
③ 言語での独学法
(マスク化言語モデリング)
文章の一部を隠す「虫食いクイズ」をAIに解かせ、文脈を読む力を徹底的に鍛え、言語理解能力を獲得します。
【結論】この「独学」を経たAIは、非常に賢い「事前学習済みモデル」となり、少ない専門データでファインチューニングするだけで、高い性能を発揮します。
この章の学習目標と前提知識
はじめに：AIは「正解ラベル」がなくても賢くなれるのか？
皆さん、こんにちは。「拡張編」へようこそ！
前回までの生成モデルの世界では、AIがデータそのものの構造を学び、新しいデータを「創造」する力を見てきました。ここでも、「ラベルのないデータ」を有効活用するアイデアが根底にありましたね。
しかし、私たちがこれまで主に扱ってきた「教師あり学習」の多くは、専門家による大量の「正解ラベル」を必要とします。例えば、何万枚もの胸部X線写真に、放射線科医が「正常」「肺炎」「気胸」と一枚一枚ラベルを付けていく…。この作業はアノテーションと呼ばれますが、非常にコストと時間がかかり、専門家の多大な労力を必要とするため、医療AI開発における最大のボトルネックの一つとなっています。
もし、AIがこの「ラベル付け」の手間を必要とせず、世界中に無数に存在するラベル無しデータ（例えば、インターネット上のテキストや画像、あるいは病院に蓄積されたラベル付けされていない医用画像など）から、まるで人間が様々な経験を通じて世界を学ぶように、自ら「賢く」なれたとしたらどうでしょう？
この、AIがデータ自身から「問題と答え」を自動で作り出し、独学する技術こそが、自己教師あり学習 (Self-Supervised Learning, SSL) なんです。これは、現代の高性能なAIモデル（特に、GPTやBERTのような巨大な事前学習済みモデル）を支える、最も重要な学習パラダイムの一つと言えるでしょう。
この記事では、この革新的な学習手法について、その全体像をダイジェスト形式で探求します。より詳細な理論や具体的な実装については、今後の個別の記事（25.1〜25.4）で深く掘り下げていく予定です。
25.1 自己教師あり学習の動機 — 「教師ラベル不足」という、医療AI最大の壁
皆さんの病院や研究室のサーバーを想像してみてください。そこには、日々蓄積される膨大な電子カルテ、何十万、何百万枚という医用画像、ゲノムのシーケンスデータなど、まさに「データの海」が広がっているはずです。これは、AI開発にとって、計り知れない価値を持つ宝の山と言えるでしょう。
しかし、その宝の山には、一つの大きな問題があります。そのほとんどが「ラベルのない」データだということです。一枚一枚のレントゲン写真に、専門医が「これは肺炎の所見あり」「これは正常」と正確なラベル（アノテーション）を付けたデータは、全体のほんの一握りに過ぎません。この「教師ラベル不足」こそが、これまで医療AIの発展を阻んできた、最も高く、そして分厚い壁だったのです。
自己教師あり学習（SSL）は、この状況を逆転させる、まさにパラダイムシフトと呼ぶにふさわしいアプローチです。その核心的なアイデアは、
「ラベルがないなら、データ自身に問題と答えを作らせて、自分で勉強させればいいじゃないか」
という、非常に大胆なものです。
これをPretext Task（プレテキスト・タスク、口実の課題）と呼びます。AIに、データの一部分を隠して「隠された部分はなんだと思う？」とクイズを出したり、加工したデータを見せて「元のデータはどれだと思う？」と質問したりするのです。AIは、この「自作のクイズ」を解くことを通じて、人間が明示的に教えなくても、データに潜む本質的な構造やパターン、いわばその世界の「常識」を自力で学んでいきます。
学習プロセス：AIの「一般教養課程」と「専門課程」
自己教師あり学習は、通常、以下の2つのステージで構成されます。
自己教師あり学習の2段階プロセス
- 事前学習 (Pre-training)：AIの「一般教養課程」 まず、大量のラベル無しデータ（例えば、世界中のあらゆる本やウェブサイトのテキスト）を使って、AIに「自作クイズ」をひたすら解かせます。これにより、AIは特定のタスクに特化する前の、汎用的で幅広い「知識」や「常識」（例えば、言語の文法、単語の意味、物理世界の常識など）を身につけます。これが、非常に賢いAIの初期状態となります。
- ファインチューニング (Fine-tuning)：AIの「専門課程」 次に、一般教養を身につけて非常に賢くなったAIをベースにして、今度は私たちが本当に解きたいタスクの、少量のラベル付きデータ（例えば、医療専門の教科書）だけを使って、モデルを微調整します。すでに「常識」を持っているので、ほんの少しの専門教育で、その分野のエキスパートになることができるのです。
この「大量のラベル無しデータで汎用的な知識を学び、少量のラベル付きデータで専門性を高める」という2段階のプロセスこそが、自己教師あり学習がもたらした革命であり、今日の巨大な事前学習済みモデルがこれほどまでに高い性能を発揮できる、最大の理由なのです。
25.2 画像におけるSSL：対照学習 —「似ているもの」と「違うもの」を見分ける力
さて、AIが自ら問題を作って学ぶ自己教師あり学習ですが、その「自作クイズ」には、データの種類によって様々なバリエーションがあります。画像の世界で大きな成功を収め、その後の研究の方向性を決定づけたのが、対照学習 (Contrastive Learning) と呼ばれるアプローチです。
その中でも特に有名なSimCLRという手法(1)を例に、その驚くほどシンプルで強力なアイデアを見ていきましょう。
対照学習の考え方は、子供が遊ぶ「仲間はずれ探し」や「同じ絵探し」のゲームによく似ています。AIに「この２つの絵は、元は同じものだよ（似ている）」「こっちの絵は、全くの別物だよ（違う）」と教え込み、その違いを見分ける「眼」を養わせるのです。
SimCLRの基本的な考え方
- データ拡張で「双子」を作る まず、ラベルのない画像の中から一枚、例えばある患者さんの胸部X線画像をランダムに選びます。そして、この一枚の画像に対して、コンピュータ上でランダムな「加工」（データ拡張、Data Augmentation）を2回行い、元は同じだけど見た目が少しだけ違う、そっくりな画像のペア（ポジティブペア）を作ります。例えば、片方は少し回転させ、もう片方は少し明るさを変える、といった具合です。この二枚は、いわば「一卵性双生児」のようなもので、AIは「この二人は、本質的には同じ存在だ」と学ぶべきです。
- 「他人」を用意する 次に、同じミニバッチに含まれている、全く関係のない他の患者さんのX線画像を全て「ネガティブペア」とします。これらは、先ほどの双子にとっては「赤の他人」です。
- 「似ているものは近くに、違うものは遠くに」と教える そして、AIモデル（エンコーダ）の仕事は、これらの画像を潜在空間という「特徴の地図」の上に配置することです。その際、ポジティブペア（双子）の点と点の距離はギュッと近づけ、ネガティブペア（他人）との距離はグッと遠ざけるように、エンコーダのパラメータを更新していきます。
対照学習 (SimCLR) の概念図
この学習がもたらすもの
この「似ているものを引き寄せ、違うものを突き放す」という、一見単純なゲームを、何百万、何億ものラベル無し画像でひたすら繰り返すことで、AIは一体何を学ぶのでしょうか？
それは、画像の「意味的な特徴表現（セマンティックな表現）」です。例えば、このタスクをうまく解くためには、AIは画像の些細なノイズや明るさの変化には惑わされず、「肺野の形状」「肋骨の走り方」「心陰影の大きさ」といった、画像の本質的な構造を捉える必要があります。人間がラベルを付けなくても、AIは自ら、画像を理解するための「良い眼」を獲得していくのです。この「眼」こそが、後のファインチューニングで絶大な効果を発揮する、汎用的な知識の塊なんですね。
25.3 言語におけるSSL：マスク化言語モデリング — AIに「文脈を読む力」を教える虫食いクイズ
画像の世界で「似ている・違う」を見分ける対照学習が革命を起こしたように、自然言語処理（NLP）の世界にも、自己教師あり学習のパラダイムを根底から変える、画期的なアイデアが登場しました。それが、BERTというモデルで一躍有名になった、マスク化言語モデリング (Masked Language Modeling, MLM) です(2)。
MLMの基本的な考え方
この手法の考え方は、私たち人間にとっても非常に馴染み深い、「虫食いクイズ」そのものです。思い出してみてください。学生時代の英語のテストで、よくこんな問題が出ませんでしたか？
“The patient was diagnosed with [ ＿＿＿ ] and treated with insulin.”
この [ ＿＿＿ ] に入る単語を、前後の文脈から推測する。まさに、このクイズをコンピュータに延々と解かせるのが、マスク化言語モデリングのやっていることなんです。
具体的なプロセスは、以下のようになります。
- 大量の文章を用意する: まず、ラベルのない膨大なテキストデータ、例えば、PubMedに登録された何百万もの医学論文や、Wikipediaの全記事を用意します。
- ランダムに「マスク」をかける: そのテキストの中からランダムに文章を取り出し、単語のいくつか（BERTの場合は約15%）を、特別な目印である
[MASK]トークンに置き換えます。これが「問題作成」のステップです。 - AIに「答え」を推測させる: そして、AIモデル（BERTのようなTransformerエンコーダ）の仕事は、この「虫食い」になった文章を読み、その単語の前後両方の文脈を考慮して、
[MASK]に元々入っていた単語が何であったかを予測することです。
この「前後両方の文脈を見る」という点が、それ以前のモデル（例えば、左から右へ順番に予測するGPT-2など）と比べて画期的でした。これにより、AIはより深い言語理解を獲得できるようになったのです。
マスク化言語モデリング (BERT) の概念図
この学習がもたらすもの
この虫食いクイズを何億回と繰り返すことで、AIは一体何を学ぶのでしょうか？それは、単語の表面的な意味だけではありません。
深い文脈理解能力です。例えば、「患者に[MASK]を投与した」という文脈があれば、[MASK]には「薬剤」が、「検査の結果、[MASK]が陽性だった」という文脈なら「特定の疾患やマーカー」が入る可能性が高い、ということを学びます。さらに、「発熱」と「解熱剤」、「糖尿病」と「インスリン」のように、互いに関連の強い単語ペアは、モデルの内部で意味的に「近い」表現として扱われるようになります。これにより、AIは言語の表層的なパターンだけでなく、その背後にある意味論的な関係性や、世界の仕組みについての、深い知識を獲得していくのです。
この強力な仕組みは、医療分野で特に大きな力を発揮します。膨大な医学論文や電子カルテのテキストで事前学習を行うことで、医療用語やその文脈に特化した言語モデル（例えばBioBERT(3)など）が作られています。これらのモデルは、一般的な言語モデルでは理解できない専門的な関係性（例：薬剤名と副作用、疾患名と関連遺伝子など）を深く理解しており、その後のカルテ要約や診断支援、論文検索といった様々な専門タスクで、驚くほど高い性能を発揮するのです。
25.4 自己教師あり学習がもたらした革命 —「賢い初期値」の絶大な力
ここまで見てきたように、自己教師あり学習（SSL）は、AIの「独学」を可能にする、非常に賢い学習パラダイムです。そして、その最大の貢献は、現代のAIのあり方を根本から変えた、巨大な「事前学習済みモデル (Pre-trained Model)」という存在を生み出したことにあります。
これは、いわば「AI界の巨人」の誕生です。これまでのように、個別のタスクごとにゼロから小さなモデルを訓練するのではなく、まず「巨人」（事前学習済みモデル）を育て上げ、その巨人の肩を借りて、私たちの問題を解く、という新しいアプローチが主流になりました。
この新しいアプローチが、従来の教師あり学習とどう違うのか、その思想の違いを表にまとめてみましょう。
| 観点 | 従来の教師あり学習 | 自己教師あり学習 (事前学習 + ファインチューニング) |
|---|---|---|
| 学習アナロジー | いきなり「専門課程」からスタート | 「一般教養課程」→「専門課程」 |
| 必要なデータ | 大量の「ラベル付き」データ | 大量の「ラベル無し」データ + 少量の「ラベル付き」データ |
| 主なコスト | 専門家によるアノテーションコスト | 大規模な計算コスト（事前学習時） |
| 学習アプローチ | 特定のタスクを解くためだけに学習 | まず汎用的な「知識・常識」を学び、その後特定タスクに適応 |
この表は、人間の教育プロセスに非常によく似ています。
- 従来の教師あり学習 これは、高校卒業後、いきなり特定の専門分野（例えば「肺炎画像分類科」）だけを学ぶ「専門学校」に入るようなものです。その分野のプロにはなれますが、それ以外の知識は乏しく、応用も利きにくいかもしれません。そして、入学のためには、大量の「ラベル付き教科書」が必要です。
- 自己教師あり学習 一方、こちらは、まず大量のラベル無しデータ（世界中のあらゆる本や画像）を使って、言語や世界の仕組みといった幅広い「一般教養（事前学習）」を身につけます。この時点で、非常に賢く、物事の「常識」をわきまえたAIが誕生します。その後、その賢いAIが、ほんの少量のラベル付きデータ（専門の教科書）を使って、特定の分野（例えば「医療画像診断学」）を学ぶ「専門課程（ファインチューニング）」に進みます。
すでに世界の「常識」を持っているAIは、ほんの少しの専門知識を学ぶだけで、その分野のエキスパートになることができるのです。この「賢い初期状態」からスタートできることこそが、自己教師あり学習の絶大な力であり、専門家によるラベル付けが非常に高コストで困難な医療分野において、これほどまでに強力なアプローチだとされている理由なのです。まさに、AI研究のゲームのルールを変えてしまった、と言っても過言ではないでしょう。
まとめと次のステップへ
今回は、AIがラベル無しデータから自ら学ぶ「自己教師あり学習」という、現代AIの根幹をなすパラダイムの全体像を概観しました。
- 課題: 医療分野における「教師ラベル不足」という大きな壁。
- 解決策: データ自身から問題と答えを作り出す「自己教師あり学習」による事前学習。
- 代表例: 画像では対照学習 (SimCLR)、言語ではマスク化モデリング (BERT)。
自己教師あり学習によって強力な「目」や「言語能力」を獲得したAIですが、その内部アーキテクチャも進化を続けています。
次回の第26回では、これまで画像認識の王様だったCNNに代わる、新しいアーキテクチャとして注目されるVision Transformer (ViT) の世界を探求します。
参考文献
- Chen T, Kornblith S, Norouzi M, Hinton G. A simple framework for contrastive learning of visual representations. In: Proceedings of the 37th International Conference on Machine Learning. 2020. p. 1597-1607.
- Devlin J, Chang MW, Lee K, Toutanova K. Bert: Pre-training of deep bidirectional transformers for language understanding. In: Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics. 2019. p. 4171-4186.
- Lee J, Yoon W, Kim S, Kim D, Kim S, So CH, et al. BioBERT: a pre-trained biomedical language representation model for biomedical text mining. Bioinformatics. 2020;36(4):1234-1240.
ご利用規約（免責事項）
当サイト（以下「本サイト」といいます）をご利用になる前に、本ご利用規約（以下「本規約」といいます）をよくお読みください。本サイトを利用された時点で、利用者は本規約の全ての条項に同意したものとみなします。
第1条（目的と情報の性質）
- 本サイトは、医療分野におけるAI技術に関する一般的な情報提供および技術的な学習機会の提供を唯一の目的とします。
- 本サイトで提供されるすべてのコンテンツ（文章、図表、コード、データセットの紹介等を含みますが、これらに限定されません）は、一般的な学習参考用であり、いかなる場合も医学的な助言、診断、治療、またはこれらに準ずる行為（以下「医行為等」といいます）を提供するものではありません。
- 本サイトのコンテンツは、特定の製品、技術、または治療法の有効性、安全性を保証、推奨、または広告・販売促進するものではありません。紹介する技術には研究開発段階のものが含まれており、その臨床応用には、さらなる研究と国内外の規制当局による正式な承認が別途必要です。
- 本サイトは、情報提供を目的としたものであり、特定の治療法を推奨するものではありません。健康に関するご懸念やご相談は、必ず専門の医療機関にご相談ください。
第2条（法令等の遵守）
利用者は、本サイトの利用にあたり、医師法、医薬品、医療機器等の品質、有効性及び安全性の確保等に関する法律（薬機法）、個人情報の保護に関する法律、医療法、医療広告ガイドライン、その他関連する国内外の全ての法令、条例、規則、および各省庁・学会等が定める最新のガイドライン等を、自らの責任において遵守するものとします。これらの適用判断についても、利用者が自ら関係各所に確認するものとし、本サイトは一切の責任を負いません。
第3条（医療行為における責任）
- 本サイトで紹介するAI技術・手法は、あくまで研究段階の技術的解説であり、実際の臨床現場での診断・治療を代替、補助、または推奨するものでは一切ありません。
- 医行為等に関する最終的な判断、決定、およびそれに伴う一切の責任は、必ず法律上その資格を認められた医療専門家（医師、歯科医師等）が負うものとします。AIによる出力を、資格を有する専門家による独立した検証および判断を経ずに利用することを固く禁じます。
- 本サイトの情報に基づくいかなる行為によって利用者または第三者に損害が生じた場合も、本サイト運営者は一切の責任を負いません。実際の臨床判断に際しては、必ず担当の医療専門家にご相談ください。本サイトの利用によって、利用者と本サイト運営者の間に、医師と患者の関係、またはその他いかなる専門的な関係も成立するものではありません。
第4条（情報の正確性・完全性・有用性）
- 本サイトは、掲載する情報（数値、事例、ソースコード、ライブラリのバージョン等）の正確性、完全性、網羅性、有用性、特定目的への適合性、その他一切の事項について、何ら保証するものではありません。
- 掲載情報は執筆時点のものであり、予告なく変更または削除されることがあります。また、技術の進展、ライブラリの更新等により、情報は古くなる可能性があります。利用者は、必ず自身で公式ドキュメント等の最新情報を確認し、自らの責任で情報を利用するものとします。
第5条（AI生成コンテンツに関する注意事項）
本サイトのコンテンツには、AIによる提案を基に作成された部分が含まれる場合がありますが、公開にあたっては人間による監修・編集を経ています。利用者が生成AI等を用いる際は、ハルシネーション（事実に基づかない情報の生成）やバイアスのリスクが内在することを十分に理解し、その出力を鵜呑みにすることなく、必ず専門家による検証を行うものとします。
第6条（知的財産権）
- 本サイトを構成するすべてのコンテンツに関する著作権、商標権、その他一切の知的財産権は、本サイト運営者または正当な権利を有する第三者に帰属します。
- 本サイトのコンテンツを引用、転載、複製、改変、その他の二次利用を行う場合は、著作権法その他関連法規を遵守し、必ず出典を明記するとともに、権利者の許諾を得るなど、適切な手続きを自らの責任で行うものとします。
第7条（プライバシー・倫理）
本サイトで紹介または言及されるデータセット等を利用する場合、利用者は当該データセットに付随するライセンス条件および研究倫理指針を厳格に遵守し、個人情報の匿名化や同意取得の確認など、適用される法規制に基づき必要とされるすべての措置を、自らの責任において講じるものとします。
第8条（利用環境）
本サイトで紹介するソースコードやライブラリは、執筆時点で特定のバージョンおよび実行環境（OS、ハードウェア、依存パッケージ等）を前提としています。利用者の環境における動作を保証するものではなく、互換性の問題等に起因するいかなる不利益・損害についても、本サイト運営者は責任を負いません。
第9条（免責事項）
- 本サイト運営者は、利用者が本サイトを利用したこと、または利用できなかったことによって生じる一切の損害（直接損害、間接損害、付随的損害、特別損害、懲罰的損害、逸失利益、データの消失、プログラムの毀損等を含みますが、これらに限定されません）について、その原因の如何を問わず、一切の法的責任を負わないものとします。
- 本サイトの利用は、学習および研究目的に限定されるものとし、それ以外の目的での利用はご遠慮ください。
- 本サイトの利用に関連して、利用者と第三者との間で紛争が生じた場合、利用者は自らの費用と責任においてこれを解決するものとし、本サイト運営者に一切の迷惑または損害を与えないものとします。
- 本サイト運営者は、いつでも予告なく本サイトの運営を中断、中止、または内容を変更できるものとし、これによって利用者に生じたいかなる損害についても責任を負いません。
第10条（規約の変更）
本サイト運営者は、必要と判断した場合、利用者の承諾を得ることなく、いつでも本規約を変更することができます。変更後の規約は、本サイト上に掲載された時点で効力を生じるものとし、利用者は変更後の規約に拘束されるものとします。
第11条（準拠法および合意管轄）
本規約の解釈にあたっては、日本法を準拠法とします。本サイトの利用および本規約に関連して生じる一切の紛争については、東京地方裁判所を第一審の専属的合意管轄裁判所とします。
For J³, may joy follow you.
