難易度：★★★★☆
はじめに：単語の意味だけでは、文章は読めない
前回の講義では、AIがどのようにして「apple」や「hospital」といった単語を”意味のある“数字のかたまり”（ベクトル）として理解しようとしているのかを学びました。
このようなベクトル表現によって、たとえば「apple」と「banana」は“近い意味”として処理され、「apple」と「hospital」は“文脈が異なる”として離れた位置に置かれる、そんな“意味の地図”がAIの中に形成されていく仕組みを見てきました。
こうした仕組みは、今の生成系AI（Generative AI）、とくに大規模言語モデル（Large Language Models, LLM）の基礎となっている考え方です。
ですが、こうした単語レベルの意味理解だけでは、実際の文章は読みこなせません。
医療の文書を例に考えてみましょう。
たとえば、次のような記録があったとします：
「患者は発熱と咳を訴え、肺炎と診断された。」
この文章を読むとき、私たちは自然にこうしたつながりを読み取っています：
- 「発熱」や「咳」という症状
- 「肺炎」という診断名
- そして「診断された」という医療行為
ここで重要なのは、それぞれの単語の“意味”だけではなく、
「誰が何を診断されたのか？」
「症状と診断がどう関係しているのか？」
といった言葉と文脈の関係性です。
AIはどうやって「文脈」を読むのか？
人間なら、こうした“言葉のつながり”を経験的に理解できます。
しかしAIには、感情も常識もありません。
それでも、文の中で重要な言葉同士を結びつけて読む方法が存在します。
それが、今回のテーマである 「Attention（注意）」という技術です。
このAttentionの考え方をベースに、今やAIは医療記録の要約、問診応答、診断補助などにも活用され始めています。
この回では、Attentionとは何か？
そしてそれを支えるSelf-Attention（自己注意）、さらにはTransformer（トランスフォーマー）という構造について、医療現場の例も交えながら、直感的かつていねいに解説していきます。
1. 文脈（context）とは何か？
AIが「言葉の意味」を扱えるようになったとはいえ、それはまだ“単語”レベルの理解にとどまっています。
しかし、実際の言葉は、文章としての“流れ”や“つながり”の中で使われるものです。
その「つながり」を読み解く鍵が、文脈（context）です。
文脈とは、「意味がまわりによって変わること」
たとえば、次のような英文を見てみましょう：
The patient was diagnosed with pneumonia.
（患者は肺炎と診断された）
この中の「diagnosed（診断された）」という言葉の意味をきちんと理解するためには、
それ単体では不十分です。
「誰が診断されたのか？」
→ The patient（その患者）
「何を診断されたのか？」
→ pneumonia（肺炎）
というように、周囲の言葉との関係性を読み取らなければ、正確な理解には至りません。
医療現場では、文脈は“前後の情報”そのもの
電子カルテを読むとき、私たちは自然と文脈をたどっています。
- 「熱が続いている」という記述のあとに、「抗生剤投与」や「CT所見」などが来ると、それらの関連性を無意識に読み取る
- 「既往歴：糖尿病」とあれば、「感染に弱い可能性がある」と想像する
こうした「言葉の間にある意味のつながり」を読み取る力が、文脈を理解するということなのです。
単語の意味だけではなく、“使われ方”が鍵
同じ単語でも、使われる場所によって意味は変わります。
たとえば：
- “positive”
→ 検査結果としては「陽性」だが、感情表現としては「前向きな」意味 - “discharge”
→ 医学的には「分泌物」や「退院」を意味するが、文脈次第で解釈が分かれる
このように、言葉は「辞書的な意味」ではなく、「文の中での振る舞い」によって本当の意味を持つのです。
AIにとっての次の課題：文脈をどう読むか？
単語をベクトルで理解できても、それだけでは文全体の意味はわかりません。
つまり、「どの単語と、どの単語が、どんな関係にあるのか？」を読み取る力が必要です。
それを可能にするのが、次章で取り上げる Attention（注意）という仕組みです。
Attentionは、AIが「この言葉を理解するには、あの言葉に注目すべきだ」と判断できるようにするしくみ。
これによって、AIは文の流れや意味のまとまりを捉えることができるようになるのです。
次の章では、この「注目する仕組み」＝Attentionを、直感的にわかるかたちで解説していきましょう。
第2章：Attentionとは？直感的な説明
前の章では、「言葉の意味は、まわりの言葉との関係で決まる」という、文脈の大切さについて学びました。
では、AIはどうやって文の中のつながりを読み取っているのでしょうか？
その鍵となる仕組みが、「Attention（アテンション）」と呼ばれる技術です。
日本語では「注意」と訳されるこの言葉。AIの世界では、「どの言葉に、どれだけ注目すべきかを決める仕組み」を指します。
ここでは、この仕組みをできるだけわかりやすく、イメージでつかんでいきましょう。
AIにとっての「注目する」とは？
人間が文章を読むとき、自然と大事な言葉に意識が向きます。
「診断された」という言葉を見れば、「誰が？」「何を？」という情報を探そうとします。
つまり、人は読むときに無意識に「文脈の中で注目すべき単語」を選んでいるのです。
Attentionとは、AIが同じように、「この単語を理解したいとき、文中のどの単語に注目すればいいか」を数値的に決める仕組みです。
イメージで理解するAttentionの動き
たとえば、次の英文を考えてみましょう。
The patient was diagnosed with pneumonia.
この中で、「diagnosed」という言葉の意味を理解したいとします。
このときAIは、「diagnosed」という単語を中心に、文の中の他の単語に「どれだけ注目すべきか」を計算します。
- patient に注目する度合い：0.30
- pneumonia に注目する度合い：0.45
- the や was などの機能語にはあまり注目しない：たとえば 0.05
このように、それぞれの単語に「注目度（スコア）」を割り振っていきます。
これがAttentionです。
Attentionは「重要度つきの平均」
このときAIは、ただ注目する単語を選ぶだけでなく、その注目度に応じて情報を取り込みます。
つまり、文章中のすべての単語の意味を、それぞれの注目度に応じて加重平均（重要度に応じた平均）して、「文脈の意味」を作っているのです。
言い換えると、Attentionとは、「この単語を理解するために、他の単語の情報をどれだけ取り入れるか」を計算するしくみなのです。
- 大事な単語（たとえば pneumonia）→ より強く意味に取り込む
- あまり重要でない単語（たとえば the）→ 少しだけ取り込む
このようにして、AIは文章全体の意味を少しずつ理解していきます。
医療における応用イメージ
この仕組みは、医療の場面でも非常に有効です。
たとえば診療記録を読んで、患者の主訴や症状、経過、診断を整理するとき、AIは「診断名」に注目しつつ、その前に書かれた「症状」や「検査結果」にも適切な重みをかけて読解することができます。
つまり、カルテや問診記録などの文書から、「どの情報がどれだけ重要か」を自動で判断しながら読み解けるようになるのです。
次の章では、このAttentionの仕組みをさらに掘り下げ、AIがどのようにして文章全体の関係を同時に分析しているのか、「Self-Attention（自己注意）」という考え方を学んでいきます。
第3章：Self-Attention（自己注意）とは？
前の章では、AIが文章を読むとき、「どの単語にどれだけ注目するか（＝Attention）」を計算して、意味を理解しようとしていることを説明しました。
では、そのAttentionを、文章全体に対してどう使っているのでしょうか？
ここで登場するのが、「Self-Attention（自己注意）」という仕組みです。
すべての単語が、すべての単語に注目する
Self-Attentionとは、文章の中に出てくるすべての単語が、他のすべての単語に注目するという仕組みです。
少し不思議に感じるかもしれませんが、これはAIが「この文の中で、どの言葉がどの言葉と関係しているか」を一度に把握するための方法です。
たとえば、次のような医療の文章を考えてみましょう。
患者は咳と発熱を訴え、肺炎と診断された。
この文に対して、AIはこう考えます：
- 「肺炎」という診断が、「咳」や「発熱」とどう関係しているかを知りたい → それらの単語に注目する
- 「診断された」という行為は、「患者」と「肺炎」のつながりと関係がある → 両方に注目する
- 「患者」は主語としてすべての情報の中心 → さまざまな単語に関連づけられる
このように、文章の中のどの言葉がどの言葉にどれだけ関係しているかを、すべての組み合わせで計算するのがSelf-Attentionです。
なぜ「自己」注意と呼ぶのか？
普通のAttentionは、「質問文」と「回答候補」など、異なる情報の間で注目する対象を決めます。
一方、Self-Attentionは、「同じ文の中」にある単語どうしが、お互いに注目しあうという特徴があります。
同じ文の中で、すべての単語が、それぞれの役割や関係性を読み合う。
この「自己＝self」の中でのやり取りだからこそ、「自己注意（Self-Attention）」と呼ばれているのです。
文章全体を、一度に把握できる
Self-Attentionの最大の強みは、「文の最初から最後までの関係性を、一気に見渡せる」ことです。
人間でも、ある文を読むとき、「最初に出てきた症状」が「最後の診断」と関係していることがあります。
しかし、従来のAIでは、前後のつながりを保ったまま読むのは難しいことでした。
Self-Attentionは、この前後のつながりを柔軟に、そして同時に読み取ることができるのです。
これにより、AIは長文のカルテや医療報告書でも、文全体の流れを見失わずに理解できるようになりました。
医療現場での応用の可能性
この技術は、電子カルテの自動要約や、疾患の可能性の予測、患者への説明文の生成など、さまざまな応用が期待されています。
Self-Attentionのしくみによって、AIはただ「言葉を読む」だけでなく、「文脈を深く理解する」力を持つようになりつつあるのです。
次の章では、Self-Attentionの中でどのように「注目の度合い」が計算されているのか。
そのために使われる三つの重要なベクトル、Query、Key、Valueについて見ていきましょう。
【発展】第4章：Attentionの中の3つの役割 ― Query、Key、Valueとは？
これまで、AIが文章の中で「どの言葉にどれだけ注目すべきか」を決めているという話をしてきました。
では、その“注目の度合い”は、どうやって数値的に決められているのでしょうか？
ここで登場するのが、Query（クエリ）、Key（キー）、Value（バリュー）という3つの要素です。
いずれも、注意（Attention）を計算するために必要な“視点”のことです。
それぞれの役割は？
この3つの用語は、聞き慣れないかもしれませんが、役割をひとつずつ分けて理解すれば難しくありません。
- Query（クエリ）
→ 今、注目しようとしている“視点”のこと
例：「この単語を理解するために、どこに注目すべきか？」 - Key（キー）
→ 各単語が持つ“特徴”や“キーワード”
例：「この単語は、どんな意味で、どれくらい注目されるべきか？」 - Value（バリュー）
→ 実際に取り込む“意味の中身”
例：「注目された結果として、どんな情報を使うか？」
このように、Queryは「注目したい側」、Keyは「注目される側」、Valueは「注目された内容」という関係です。
イラストで理解する Attention のしくみ
この仕組みを直感的に理解するために、以下のイラストを見てください。
📘 画像1（Queryが関連度を測っている場面）
この図では、左のキャラクターが「Query」にあたります。
つまり、「いま注目したい単語」です。
右の3人は、それぞれ文の中の他の単語に相当し、「Key」や「Value」の役割を担います。
Queryは、「それぞれのKeyと、どれくらい関連性があるか？」を数値（スコア）として計算します。
このスコア（関連度）が、Attentionの「重み（たとえば0.4, 0.2, 0.1）」になります。
📘 画像2（重み付きの平均をとっている場面）
次に、得られた重みを使って、それぞれのValue（意味の中身）を「どれだけ取り込むか」が決まります。
たとえば、関連度が高い（＝重要）と判断されたValueは、より強く取り込まれます。
逆に、あまり関連がないValueは、少しだけ反映されるだけです。
このようにして、AIは「文脈を考慮した意味（context-aware meaning）」をつくっていくのです。
たとえば診療記録を読むとき
以下の文を例にして考えてみましょう。
患者は39度の発熱と激しい咳を訴えた。
ここでAIが「訴えた」という動詞の意味を理解しようとしているとします。
- 「訴えた」が Query になります。
→ いま注目しようとしている言葉です。 - 「発熱」「咳」などが Key になります。
→ この言葉たちが、注目される候補になります。 - そして、実際に「訴えた」という言葉の理解に影響を与える情報（＝Value）として、「発熱」や「咳」が混ざり合って取り込まれます。
このように、Query と Key の“相性”を数値で計算し、そのスコアに応じて Value を取り入れることで、文脈に応じた理解ができるのです。
計算の流れ
Attentionの処理は、以下のようなステップで行われます。
- Query と Key の「内積」をとって、“関連度”を数値で計算
→ 関係が深いほど高いスコアになる（たとえば患者と診断、発熱と咳など） - 関連度にスケーリングを加えた上で、Softmaxという関数を使って「注目度（重み）」に変換
→ 全体で足して1になるように、重みのバランスを調整 - 得られた重みをもとに、各 Value を合成し、「意味の平均値」として新しいベクトル（文脈を反映した表現）を作る
こうして、AIは「この単語を理解するには、どこをどれだけ参考にすべきか？」を、計算によって決定しているのです。
医療に応用する視点で見ると
医療文書では、症状・検査所見・診断・治療といった情報が複雑に絡み合っています。
Attentionの仕組みは、これらの中から「文脈的に重要な情報」を自動で抽出し、必要な関係性を見つけ出すことを可能にします。
たとえば、以下のような応用が想定されます。
- 診療記録の中で、診断名と関連する症状を自動で見つける
- 検査所見と処方薬との関係をモデルが理解しようとする
- 患者の訴えの中で、医師が注目すべき箇所を抽出する
これらはすべて、Query、Key、Valueという「注意のしくみ」の応用といえるのです。
次の章では、このAttentionの仕組みを積み重ねて、大きな構造に発展させた「Transformer（トランスフォーマー）」というモデルについて見ていきましょう。
これは、ChatGPTをはじめとする現代の大規模言語モデル（LLM）の核となる技術です。
【発展】第5章：Transformerとは？
ここまで学んできた「Attention（注意）」や「Self-Attention（自己注意）」の仕組みは、AIが文章を理解するうえでとても重要な要素です。
そしてこのAttentionの考え方を中心に据えて、AIに文脈理解の力を与えたのが「Transformer（トランスフォーマー）」というモデルです。
現在、医療をはじめとするさまざまな分野で注目されている生成系AI――たとえばChatGPTなどの大規模言語モデル（LLM）は、すべてこのTransformerを土台にしています。
Transformerは「Attentionのかたまり」
Transformerは、言ってみれば「Self-Attentionを繰り返し使う仕組み」です。
1回のSelf-Attentionで文章全体の関係性を読み取ったあと、それをさらに何層にも積み重ねていくことで、より深く、より抽象的な文脈の理解ができるようになります。
この「繰り返し構造」こそがTransformerの特徴です。
Transformerの基本的な流れ
Transformerでは、文章がAIの中で次のようなステップをたどって処理されていきます。
- 単語をベクトルに変換する（Embedding）
→ 文字列を“意味ある数字のかたまり”に変える - 位置の情報を加える（Positional Encoding）
→ 単語の並び順を理解する手がかりを与える - Self-Attention層で文中のすべての関係を分析
→ 単語どうしの関連度を数値的に読み取る - Feed Forward層で情報を加工・統合する
→ 理解を深め、意味を抽象化する - 上記の処理を何層も繰り返す（深層化）
→ 文章全体の意味をより高度に捉えられるようになる
このようにして、Transformerは文の構造や意味の流れを立体的に読み解いていくのです。
なぜTransformerが画期的だったのか？
Transformerが登場する以前のAIは、文章を1語ずつ順番に読むしかなく、長い文章や複雑な構文を扱うのが苦手でした。
しかし、Transformerでは文章全体を一度に見渡し、全単語の関係性を同時に考えることができます。
これにより、以下のような大きな進歩が実現しました。
- 長文でも文脈を失わずに理解できる
- 単語の並び順にとらわれず、柔軟に意味をとらえられる
- 並列計算がしやすく、大規模学習に向いている
こうした特徴が、今のような高性能な生成系AIの土台となっているのです。
医療現場でどう活かされるのか？
Transformerは、医療分野でもすでに多くの応用が始まっています。
たとえば：
- 電子カルテの中から、主訴・症状・診断・治療内容を抽出する
- 問診記録から自動でサマリーを生成する
- 医師と患者の会話を自然な言葉で要約・翻訳する
Transformerの強みは、単語どうしの細かな関係を見逃さず、文全体を一度に理解できること。
だからこそ、医療文書のような複雑で長いテキストでも、正確な処理が可能になるのです。
次の章では、このTransformerがさらに進化し、「一度に複数の視点から文を読む」ことを可能にする仕組み、「マルチヘッド・アテンション」について学んでいきましょう。
これにより、AIは医師のように“さまざまな観点から同時に情報を読む”力を手に入れるのです。
【さらに発展】第6章：マルチヘッド・アテンションとは？
前の章では、Transformerという構造が、Self-Attentionを何層にも積み重ねることで、文の意味を深く理解していることを学びました。
このTransformerの中核技術を、さらに強力にしている工夫が「マルチヘッド・アテンション（Multi-Head Attention）」です。
このしくみのおかげで、AIは文章を複数の視点から同時に読むことができるようになりました。
なぜ“1つの視点”だけでは不十分なのか？
たとえば、次のような医療文書を見てみましょう。
患者は、糖尿病の既往があり、発熱と咳を訴えて来院した。
この文には、いくつもの意味のつながりが含まれています。
- 「糖尿病」 → 「感染に対するリスクが高い」
- 「発熱と咳」 → 「呼吸器感染症の可能性」
- 「訴えて来院」 → 「主訴と受診行動」
これらは、どれも重要な情報ですが、単一の視点だけでは一部しか読み取れない可能性があります。
そこで登場するのが、「マルチヘッド・アテンション」です。
マルチヘッドとは「複数のAttentionを同時に動かす」こと
マルチヘッド・アテンションでは、Self-Attentionの計算を一度に複数のグループ（＝ヘッド）に分けて行います。
それぞれのヘッドが、異なる特徴や視点に注目するように訓練されているのが特徴です。
たとえば：
- ヘッド1：病名と症状の関係に注目
- ヘッド2：主語と述語の文法的なつながりに注目
- ヘッド3：時間や順序に関する表現に注目
- ヘッド4：医療専門用語の意味のまとまりに注目
こうして、1つの文を複数の角度から同時に分析することで、文脈の理解がより正確で深くなるのです。
ヘッドの数は何個？
具体的な数はモデルの設計によりますが、GPTのような大規模言語モデルでは、1層あたり数個から十数個のAttentionヘッドを並行して動かしています。
すべてのヘッドが異なる情報に注目し、それぞれの視点から導き出した意味を、最終的に統合して処理を進めます。
これは、まるで複数の医師が、同じカルテをそれぞれの専門から読み解き、意見を出し合って診断するようなイメージです。
医療応用における利点
マルチヘッド・アテンションの仕組みは、以下のような医療現場での応用に強みを発揮します。
- 患者の主訴、既往歴、検査結果、診断の流れを同時に分析できる
- 文法的な構造（誰が・何を・どうした）と、医学的な意味（病名と症状の関連）を並行して読み取れる
- 医療用語の多義性（例：「positive」は「陽性」か「前向き」か）を文脈から判断できる
このように、マルチヘッド・アテンションは、「文のあちこちにある大事な情報を見落とさず、総合的に判断する力」をAIに与えてくれるのです。
次の章では、こうしたAttentionのしくみがもたらしたAIの進化と革命について振り返ります。
なぜこの技術が「翻訳」「要約」「診断補助」といった応用で、飛躍的な性能向上を生んだのかを見ていきましょう。
第7章：Attentionが起こした革命
ここまでで、AIが文章の中で「どこに注目すべきか」を計算によって判断できること、そしてそのAttentionの仕組みが、Self-AttentionやTransformerとして応用されていることを学んできました。
このAttentionの考え方が登場したことで、AIの言語理解能力は劇的に向上しました。
この変化は、「革命」と呼んでも過言ではありません。
なぜ革命だったのか？
以前のAI（とくに機械翻訳や文書理解）は、言葉を1語ずつ順番に処理する方式（たとえばRNNやLSTM）を使っていました。
この方式では、文が長くなればなるほど、前の内容を忘れやすく、文脈のつながりを保ちにくいという欠点がありました。特に医療文書のように長くて情報量の多い文章では、大切な関係性を見落としてしまうことがありました。
Attentionの登場によって、こうした問題が一気に解決されたのです。
Attentionがもたらした3つの進化
- 文全体を一気に見渡せるようになった
→ すべての単語が互いに関係し合いながら、意味のネットワークを形成できる - 重要な情報を自動で見つけられるようになった
→ 医療文書の中で、主訴・検査・診断・治療といった重要情報に自然と注目できる - さまざまな応用分野で性能が飛躍的に向上した
→ 翻訳、要約、質問応答などが大幅に改善され、実用段階へと進んだ
この進化は、まさに生成系AIの基盤となっています。
医療分野での実用化が進んでいる
医療においても、Attentionを基盤としたAIの活用が始まっています。
具体的には、次のような場面での応用が報告されています。
- 電子カルテの要約
患者の経過記録から、主訴や治療経過を簡潔にまとめる - 診断支援
症状と検査データから、考えられる疾患をAIが提案する - 患者向けの説明自動生成
医療者のメモをもとに、患者にわかりやすく説明する文章を作成する
これらはすべて、「文の中で重要な情報に注目し、それを文脈と一緒に理解できる」能力によって実現されています。
ChatGPTなどの大規模言語モデル（LLM）も、この技術の上に成り立っている
現在使われているChatGPTやClaude、Geminiといった大規模言語モデルは、すべてこのTransformerとAttentionの仕組みを土台としています。
これらのモデルは、数兆単語という膨大な文章を読み込みながら、言葉の使い方とその文脈を統計的に学習しています。その「学習の仕方」自体が、Attentionの力に支えられているのです。
次の章では、ここまでの仕組みをふまえて、実際に医療の現場でどのように使われているのか、応用例を振り返りながら理解を深めていきましょう。
Attentionがもたらした実際の成果に注目していきます。
第8章：医療応用の実例 ― Attentionは現場でどう活きているか？
ここまで、AIが「言葉の意味」だけでなく、「文脈」まで読み取れるようになった背景には、Attentionという仕組みがあることを学んできました。
では、この技術は実際に医療の現場でどのように使われているのでしょうか？
この章では、Attentionを活用したAI技術が、どのようなかたちで医療業務を支援しているかについて、具体的な応用例を紹介します。
1. 電子カルテの自動要約
医療現場では、1人の患者について何十枚にもわたる記録が残されます。これらのカルテをすべて読み返し、必要な情報を抽出するには、医師や看護師にとって大きな負担です。
そこで、Attentionを活用したAIが、カルテ内の重要な情報に自動で注目し、要点を整理・要約することができるようになりました。
例：
- 「この2週間の外来記録」から主訴、治療の変化、検査結果の異常値だけを抽出してまとめる
- 看護記録の中から、バイタルや転倒リスクなどの変化点を自動でピックアップする
これにより、時間の短縮だけでなく、見落とし防止にもつながります。
2. 症状からの診断支援
患者の症状が文章で記録された問診や初診メモをAIが読み取り、Attentionのしくみで文中の症状・所見に注目して「可能性のある診断」をリストアップする支援も始まっています。
たとえば：
- 「発熱」「咳」「呼吸困難」という記録から、「肺炎」「気管支炎」などを提案
- 「意識低下」「既往歴：糖尿病」から、「糖尿病性ケトアシドーシス」などを候補に挙げる
もちろん最終的な判断は医療者自身が行いますが、診断漏れの防止や確認材料として役立ちます。
3. 患者向けの自動応答・説明文生成
患者からの問い合わせに対して、医療情報をわかりやすく説明するためのツールにも、Attention技術が活用されています。
例：
- 「この薬は何のために飲んでいますか？」という質問に対して、カルテの文脈を読み取り、「糖尿病の血糖コントロールのために処方された薬です」と自然な文章で返答する
- 検査結果を患者に説明する際に、「白血球の数値が高めですが、感染症が疑われる場合に見られる反応です」といった文を自動で生成する
こうした応用により、説明の質のばらつきを減らすことも可能になります。
4. 文脈を理解するからこそ可能になる応用
これらの応用の背景には、すべて「文脈を理解する力」があります。
ただ単語を探すだけではなく、「この単語がどの場面でどう使われているか」を読み取る力。
まさに、Attentionが実現した“意味の地図＋注目の仕組み”が、医療分野で力を発揮しているのです。
今後さらに期待される分野
- 看護記録の自動チェック（転倒・褥瘡リスクなど）
- 退院サマリーのドラフト作成
- 病理・画像所見の要約と自然言語での説明生成
- 問診データと連携した診断支援システムの高度化
こうした分野で、Attentionを軸としたAIが、医療者の時間を守り、安全性と精度の両立に貢献していくことが期待されています。
次回の講義では、いよいよ「AIがどうやって文章を“つくる”のか」について見ていきます。
これまで学んできた「言葉の意味」や「文脈の理解」をもとに、AIはどうやって自然な文章を生成しているのか？
生成系AIの心臓部、「言語生成モデル」の仕組みに迫っていきましょう。
【引用文献リスト】
Vaswani A, Shazeer N, Parmar N, Uszkoreit J, Jones L, Gomez AN, et al.
Attention is all you need.
In: Advances in Neural Information Processing Systems. 2017;30:5998–6008.
Devlin J, Chang MW, Lee K, Toutanova K.
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding.
arXiv [Preprint]. 2018 Oct 11. arXiv:1810.04805. Available from: https://arxiv.org/abs/1810.04805
Radford A, Narasimhan K, Salimans T, Sutskever I.
Improving Language Understanding by Generative Pre-Training.
OpenAI; 2018. Available from: https://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf
Liu Y, Ott M, Goyal N, Du J, Joshi M, Chen D, et al.
RoBERTa: A Robustly Optimized BERT Pretraining Approach.
arXiv [Preprint]. 2019 Jul 26. arXiv:1907.11692. Available from: https://arxiv.org/abs/1907.11692
Brown T, Mann B, Ryder N, Subbiah M, Kaplan JD, Dhariwal P, et al.
Language Models are Few-Shot Learners.
In: Advances in Neural Information Processing Systems. 2020;33:1877–1901.
Lee J, Yoon W, Kim S, Kim D, Kim S, So CH, Kang J.
BioBERT: a pre-trained biomedical language representation model for biomedical text mining.
Bioinformatics. 2020;36(4):1234–40. doi:10.1093/bioinformatics/btz682
Rajkomar A, Dean J, Kohane I.
Machine Learning in Medicine.
N Engl J Med. 2019;380(14):1347–58. doi:10.1056/NEJMra1814259
Touvron H, Lavril T, Izacard G, Martinet X, Lachaux MA, Lacroix T, et al.
LLaMA: Open and Efficient Foundation Language Models.
arXiv [Preprint]. 2023 Feb 27. arXiv:2302.13971. Available from: https://arxiv.org/abs/2302.13971
Esteva A, Robicquet A, Ramsundar B, Kuleshov V, DePristo M, Chou K, et al.
A guide to deep learning in healthcare.
Nat Med. 2019;25(1):24–9. doi:10.1038/s41591-018-0316-z
数理の弾丸⚡️京大博士のAI解説. Transformer誕生物語｜Attention is All You Need [インターネット]. YouTube; 2024年7月 [引用日: 2025年4月30日]. 利用可能: https://www.youtube.com/watch?v=6tcjwdanedU
注意事項
- 本内容は、記事執筆時点の情報をもとに作成していますが、機能やライブラリのアップデートにより内容が変わる場合があります。
- 本内容は医療行為のアドバイスではなく、技術学習の一助としてご利用ください。実際に医療現場に導入される際は、法規制やガイドライン（厚生労働省・PMDA・経済産業省・学会など）をしっかり確認し、専門家の助言を仰ぐことをおすすめします。
- 特に生成系AIを使う場合は、誤情報（ハルシネーション）やバイアスに十分注意し、必ず人間の専門家が結果を検証するプロセスが重要です。
- 本内容には、AIの提案をもとに作成した部分が含まれています。内容には注意を払っていますが、医療・法律・教育など専門的な判断が必要な場面では、必ず専門家の確認をお願いします。
コメント