【医療AI教室：B13】なぜAIは賢くなるのか？性能向上を支配する「スケーリング則」入門

---

はじめに：AIの「育て方」を知る重要性

「AIが医療を変える」—この言葉は、もはや単なる未来予測ではなく、日々の臨床や研究現場で実感されつつある現実ではないでしょうか。画像診断の精度向上、膨大な論文情報の整理、あるいは電子カルテ記載のサポートまで、AIは多忙な医療専門家の強力なパートナーとなりつつあります。

しかし、これらのAIがどのようにして「賢く」なっていくのか、その根本的なメカニズムを考えたことはありますか？実は、近年のAI、特に大規模言語モデル（LLM）の飛躍的な進歩の裏には、「スケーリング則（Scaling Law）」と呼ばれる、ある種の「物理法則」にも似た経験則が存在するのです。本稿では、このスケーリング則をテーマに、AIの性能向上の秘密を解き明かしていきます。

1. スケーリング則とは？—AIの性能を予測する「物理法則」

スケーリング則とは、ごく簡単に言えば「AIモデルの性能は、投入するリソース（資源）を増やせば、予測可能な法則に従って向上する」という、驚くほどパワフルな経験則です(1),(26)。この発見が画期的だったのは、AI開発を「やってみないと分からない」という闇雲な試行錯誤から、投資対効果を計算できる科学的な領域へと引き上げた点にあります。

この法則を理解するために、AIの性能を決める3つの基本要素を、一人の医学生が成長していく過程に例えてみましょう。

• モデルサイズ（パラメータ数, N）
  • AIにおける定義: AIモデルが知識を蓄えるための「脳の容量」や「神経細胞の数」に相当します。この数値が大きいほど、より複雑で微妙なパターンを学習できる潜在能力を持ちます(1)。
  • 例えるなら: 医学生の「記憶力や思考回路の複雑さ」。容量が大きいほど、多くの医学知識や複雑な病態生理を体系的に理解できます。
• データセットサイズ（学習データ量, D）
  • AIにおける定義: モデルが学習に使う情報の総量です。テキストデータの場合、「トークン」という単語や文字のかたまりを単位として数えられます(1)。
  • 例えるなら: 医学生が勉強する「教科書、最新論文、そして経験する症例報告の量」。より多くの教材やケースに触れるほど、知識の幅と深みが増します。
• 計算量（コンピュート, C）
  • AIにおける定義: モデルの学習に費やされる総計算パワーです。コンピュータの計算能力を示すFLOPs（浮動小数点演算数/秒）という単位で計測され、AI開発の「予算」そのものと言えるかもしれません(4),(27)。
  • 例えるなら: 医学生の「総勉強時間や集中力」。どれだけ多くの時間とエネルギーを学習に注ぎ込んだか、その努力の総量を表します。

スケーリング則は、これら3つの要素（脳の容量、教材の量、勉強時間）を増やしていくと、医学生の成績（AIの性能）がどのように向上するかを、数式で予測しようとする試みです。

少しだけ数式の世界を覗いてみると、スケーリング則はしばしば以下のような形で表現されます。

\[ L(N, D) = E + A/N^\alpha + B/D^\beta \]

この数式は一見すると難しそうですが、意味はとてもシンプルです。

• L(N, D): AIの性能を示す指標（損失、Loss）。この値が小さいほど性能が良いことを意味します。テストの点数ではなく、「エラー率」や「間違いの多さ」と考えると分かりやすいでしょう。
• N: モデルサイズ（脳の容量）
• D: データセットサイズ（教材の量）
• E: AIがどれだけ学習しても越えられない、理論上のエラー率の限界値（例：どうやっても曖昧さが残る問題など）。
• A, B, α, β: モデルの構造やデータの質によって決まる定数。

この式が教えてくれるのは、「モデルサイズNとデータ量Dを大きくすればするほど、分数の項（A/N^α と B/D^β）がゼロに近づき、エラー率Lは理論上の限界Eに近づいていく」という関係性です。つまり、「脳が良く、教材が豊富なほど、成績は良くなる」という当たり前のことを、数式で定量的に示したわけです。

この予測可能性こそが、何十億、何百億円という莫大な投資判断を支える羅針盤となっているのです(12),(25)。

2. AI開発戦略の進化：3つの時代のパラダイムシフト

では、3つの要素（モデル、データ、計算量）の最適なバランスはどこにあるのでしょうか？この問いを巡る探求の歴史は、AI開発戦略の進化そのものです。ここでは、その変遷を大きく3つの時代に分けて見ていきましょう。

時代	主要な法則・モデル	中心的な考え方	医療への示唆
第一期 (〜2020年)	Kaplan則 (GPT-3)	モデル中心: 「とにかく巨大なモデル（脳）を作れば性能は上がる」	AIの基礎体力（モデル）の重要性が認識される。
第二期 (〜2022年)	Chinchilla則	計算最適化: 「モデル（脳）とデータ（経験）はバランス良く育てるのが最も効率的」	質の高い臨床データが、AIの性能を左右する「戦略的資産」となる。
第三期 (2023年〜)	Llama 3	経済合理性: 「運用コストまで見据え、小型で高性能なモデルを『過剰訓練』で作り出す」	院内AIシステムのTCO（総所有コスト）の観点から、小型・高効率モデルの価値が高まる。

【第一期】「大きいことは良いことだ」の時代（Kaplan則）

2020年頃、OpenAIの研究者たちが発表した法則（通称：Kaplan則）は、AIコミュニティに衝撃を与えました。そのメッセージは明快で、「モデルサイズ（脳の容量）をとにかく大きくすれば、性能はどんどん上がる」というものだったのです(1),(31)。

この時代に発見された特に重要な知見は、「巨大なモデルは学習効率（サンプル効率）が良い」という点でした(1)。これは、非常に頭の良い医学生（大規模モデル）は、少ない勉強量（データ量）でも、物事の本質を素早く習得できる、というイメージに近いかもしれません。この発見は、GPT-3のような巨大モデル開発への大規模投資を正当化し、AI業界は「モデルの巨大化競争」へと突き進みました(12)。この時点では、競争力の源泉はモデルの大きさ（N）にあると広く信じられていたのです。

【第二期】計算最適化の革命（Chinchilla則）

この「スケール至上主義」に待ったをかけたのが、2022年にDeepMind（現Google DeepMind）が発表した「Chinchilla（チンチラ）則」です(4),(27)。

彼らは膨大な実験の末、非常に重要な結論を導き出しました。「限られた予算（計算量）の中で最高の性能を得るには、モデルサイズ（脳の容量）とデータ量（教材の量）を、バランス良く一緒に大きくしていくのが最も効率的である」ことを科学的に証明したのです(4)。

この発見は衝撃的でした。なぜなら、それまでのGPT-3のような巨大モデルは、その立派な脳の容量に比して「圧倒的に勉強不足（訓練不足）」だったことを意味したからです(4)。

DeepMindはこれを証明するため、Gopherという巨大モデル（2800億パラメータ）とほぼ同じ計算予算を使い、より小型（700億パラメータ）でありながら4倍以上のデータで学習させた新モデル「Chinchilla」を開発しました。結果は明白で、Chinchillaはあらゆる言語タスクで、自分より4倍も大きいGopherを圧倒したのです(4),(27)。

医療への示唆: このChinchilla則は、医療AI開発における「データの価値」を劇的に高めました。単に巨大なAIモデルを構築する技術力だけでなく、大規模で質の高い臨床データ（電子カルテ、医用画像、ゲノム情報など）を整備し、活用する能力こそが、競争の鍵を握ることを明確に示したのです。知識（モデル）だけでなく、経験（データ）の重要性が科学的に裏付けられた瞬間だったと言えるでしょう。

【第三期】「運用コスト」まで見据えた新時代

そして現在、AI開発は第三の時代に突入しています。Meta社が開発したLlama 3モデルが、その象徴的な存在です(8),(9)。

彼らの戦略を一言で表すなら、「Chinchilla則が示す最適点を遥かに超える、膨大な量のデータでモデルを『過剰に』訓練する」というアプローチです(8)。例えば、Llama 3は、Chinchilla則が推奨するデータ量の実に75倍ものデータで学習されていると報告されています(34)。

一見すると、これは非効率に思えるかもしれません。なぜ、そんなことをするのでしょうか？その答えは、「推論コスト（Inference Cost）」という概念を理解すると見えてきます(10)。

• 訓練コスト (Training Cost): AIモデルをゼロから開発する際にかかる初期費用。一度きりの莫大な投資です。
• 推論コスト (Inference Cost): 開発したAIを、実際にユーザーが使うたびにかかる運用費用。継続的に発生するコストです。

ChatGPTのように何億人ものユーザーに使われるAIは、その生涯でかかる運用コストの総額が、初期の開発コストを遥かに上回る可能性があります(10)。そして、この運用コストはモデルサイズにほぼ比例するため、モデルは小さい方が断然安上がりです。

つまり、Meta社の戦略は「初期の開発コストを余分にかけてでも、より小型で高性能なモデルを作り上げ、将来にわたって発生する莫大な運用コストを削減する」という、AIのライフサイクル全体を見据えた、より高度な経済合理性に基づいているのです(11),(46)。

医療への示唆: この考え方は、院内で広く利用される医療AIシステムを考える上で極めて重要です。例えば、全診療科のPCで稼働する電子カルテ要約AIや、全読影医が利用する画像診断支援AIを導入する場面を想像してみてください。初期の開発・導入費用もさることながら、日々の膨大な利用回数によって積み上がる「推論コスト」が、長期的なTCO（総所有コスト）の大部分を占めることは容易に想像できます。このような場合、開発に多少の時間やコストがかかったとしても、より小型で、高速に、そして低コストで動くAIモデルを選択することが、病院経営の観点から非常に合理的となるかもしれません(10)。

3. スケーリングの先にあるもの：医療AIの新たな可能性と課題

スケーリング則はAIの進歩の根幹ですが、もちろん万能ではありません。その限界を理解し、新たな技術動向に目を向けることで、未来の医療AIの姿がより鮮明に見えてきます。

データ中心AI vs. モデル中心AI

スケーリング則を巡る議論の歴史は、AI開発の哲学が「モデル中心（Model-Centric）」から「データ中心（Data-Centric）」へと移行してきた物語でもあります(41),(43)。

• モデル中心AI: データを固定し、AIのアルゴリズムやモデル構造（アーキテクチャ）を改良して性能を上げるアプローチ。
• データ中心AI: AIモデルはある程度固定し、学習に使うデータの質（ノイズ除去、ラベルの正確性、多様性など）を徹底的に高めることで性能を上げるアプローチ(41)。

特にChinchilla則以降、AI業界では「Garbage in, garbage out（ゴミを入れれば、ゴミしか出てこない）」という古くからの格言が再認識され、高品質なデータこそがAIの真の能力を引き出す鍵であるというコンセンサスが形成されています(8),(43)。

医療への示唆: 医療ほど、この「データ中心AI」の考え方が重要な領域はないでしょう。不正確なアノテーションがなされた画像データや、ノイズの多いフリーテキストのカルテ情報からでは、信頼性の高いAIは決して生まれません。自動車メーカーのテスラ社は、自社の自動運転AIの改善のために「データエンジン」という仕組みを構築しています。これは、AIがうまく判断できなかった箇所（例：珍しい道路標識）のデータを自動で収集し、人間がそれを修正・ラベル付けし、改善されたデータでAIを再学習させるという好循環のサイクルです(19),(43)。このような、データを継続的に改善していく仕組みを構築・運用する能力が、これからの医療機関や研究室のAI活用能力を大きく左右すると私は考えています。

アーキテクチャの革新：専門医集団としての「MoE」

巨大な単一モデル（モノリシックモデル）のスケーリングが、物理的・経済的な壁に近づきつつある中、「専門家混合（MoE: Mixture-of-Experts）」という新しいアーキテクチャが大きな注目を集めています(15),(23)。

これは、一つの巨大なAI（総合診療医）に全てを任せるのではなく、多数の小規模な「専門家AI（専門医）」を用意し、問題に応じて適切な専門家だけを呼び出して連携させる、という非常にクレバーな仕組みです(15),(50)。

図1: MoEアーキテクチャの概念図。ルーターが入力内容を判断し、最適な専門家AI（一部）のみを起動して処理させることで、効率化を図る。

例えば、心電図の読影依頼が来たら「循環器AI」を、内視鏡画像なら「消化器AI」を起動する、といったイメージです。これにより、モデル全体としては膨大な知識（総パラメータ数）を保持しつつも、個々のタスクは低コストかつ高速に処理できるという、まさに「良いとこ取り」が実現できるのです(15),(23)。

医療への示唆: MoEは、医療AIの理想的な姿の一つかもしれません。単一の万能AIではなく、各診療科の専門知識に特化したAI群が協調して働くシステムは、より効率的で、精度も高く、何より安全性の管理がしやすい可能性があります。この分野の進展は、将来の病院情報システムや診断支援システムのアーキテクチャを考える上で、重要なヒントを与えてくれます。

AIの「創発的能力」と安全性

スケーリング則を追い求めていく中で、非常に興味深く、同時に厄介な現象が報告されました。「創発的能力（Emergent Abilities）」です。これは、モデルが一定のサイズを超えた時、まるで水が氷になる相転移のように、それまで予測不可能だった新しい能力（例：複雑な多段階の論理的推論など）が突如として現れる現象を指します(12),(14),(53)。

この「予測不可能性」は、AIが私たちの意図しない危険な能力を獲得してしまうリスクも示唆するため、安全性の観点から大きな議論を巻き起こしました(12)。しかし最近では、この創発的能力の多くは、AIの能力の真の飛躍というよりは、研究者が使う評価指標（例：「完全に正解か、不正解か」で厳しく採点するなど）が生み出す「幻影（Mirage）」ではないか、という有力な反論も出ています(12)。評価方法を「部分点あり」のように滑らかなものに変えると、性能はサイズに応じてスムーズに向上しているように見える、というのです(12)。

この専門家の間での議論は、AIの能力をいかに正しく評価し、管理するかが非常に難しい問題であることを物語っています。

医療への示唆: 医療AIの安全性を確保するためには、こうしたAIの振る舞いを深く理解し、厳格なガバナンス体制を築くことが不可欠です。AIの安全性研究をリードするAnthropic社は、「Constitutional AI（憲法AI）」というユニークなアプローチを提唱しています(29)。これは、AIに「患者に害を与えない」「正直である」「プライバシーを尊重する」といった、医療倫理におけるヒポクラテスの誓いのような基本原則（憲法）を与え、AI自身がその原則に従って応答を自己修正するように学習させる技術です(8),(63)。

さらに同社は、「責任あるスケーリングポリシー（RSP）」を公開し、開発中のモデルが危険な能力（例：サイバー攻撃や生物兵器開発に悪用されうる能力）を獲得する可能性が認められた場合、十分な安全対策が講じられるまで開発を一時停止することを約束しています(23)。こうした「安全性と開発ペースを連動させる」という考え方は、人命に直接関わる医療AIの開発において、極めて重要な指針となるでしょう。将来、私たちが医療AIを選ぶ際には、「性能」や「コスト」だけでなく、どのような「ガバナンス」の下で開発・運用されているかが、信頼性を判断する上で決定的な要因になるはずです。

結論：医療専門家が知るべきAIの「育て方」の哲学

本稿で見てきたように、AIの性能向上を支える「スケーリング則」を巡る議論は、単なる技術論争ではありません。それは、限られた資源（計算能力、データ、資金）をいかに最適に配分し、最大の価値を生み出すかという、高度な「戦略論」なのです。

そして、その戦略は、このわずか数年で劇的に変化してきました。

• Kaplanの時代: とにかく巨大なモデル（脳）を作れば勝てるという「モデル中心」の思想。
• Chinchillaの時代: モデル（脳）とデータ（経験）のバランスこそが重要という「計算最適化」の思想。
• Llamaの時代: 開発から運用までのライフサイクル全体を見据え、総コストを最小化するという「経済合理性」の思想。

この変遷は、日々の診療や研究に携わる皆様に、いくつかの重要な示唆を与えてくれるように思います。

1. データの価値の再認識: 院内に蓄積された質の高い臨床データは、もはや単なる記録ではありません。それは、次世代の医療AIを生み出すための、最も価値ある「戦略的資産」です。
2. 長期的視点の重要性: AIシステムを導入・開発する際は、目先の初期コストだけでなく、長期的な運用コスト（推論コスト）や、システムライフサイクル全体での価値を考慮する必要があります。
3. 安全性という新たな競争軸: AIの能力が向上すればするほど、そのガバナンスと安全性をいかに担保するかが、技術の信頼性と、ひいては社会実装における競争力を左右します。

AIは、もはや魔法の箱ではありません。その成長には法則があり、その育て方には戦略があります。この「育て方の哲学」の進化を理解することは、私たち医療専門家がAIという強力なツールと賢く付き合い、その恩恵を最大限に引き出し、患者ケアと医学研究の未来を切り拓いていく上で、不可欠な羅針盤となるでしょう。

---

参考文献

1. Kaplan J, McCandlish S, Henighan T, Brown TB, Chess B, Child R, et al. Scaling Laws for Neural Language Models. arXiv preprint arXiv:2001.08361. 2020 Jan 23.
2. Hestness J, Narang S, Ardalani N, Diamos G, Jun H, Kianinejad H, et al. Deep Learning Scaling is Predictable, Empirically. arXiv preprint arXiv:1712.00409. 2017 Dec 1.
3. Henighan T, Kaplan J, Katz M, Chen M, Hesse C, Jackson P, et al. Scaling Laws for Autoregressive Generative Modeling. arXiv preprint arXiv:2010.14701. 2020 Oct 28.
4. Hoffmann J, Borgeaud S, Mensch A, Buchatskaya E, Cai T, Rutherford E, et al. Training Compute-Optimal Large Language Models. arXiv preprint arXiv:2203.15556. 2022 Mar 29.
5. Sardana N, Baveja S, Singh G, Khattar A, Ramadurgam S, Singh V, et al. Beyond Chinchilla-Optimal: Accounting for Inference in Language Model Scaling Laws. arXiv preprint arXiv:2401.00448. 2024 Jan 1.
6. Brown TB, Mann B, Ryder N, Subbiah M, Kaplan J, Dhariwal P, et al. Language Models are Few-Shot Learners. In: Advances in Neural Information Processing Systems 33. Curran Associates, Inc.; 2020. p. 1877-1901.
7. Rae JW, Borgeaud S, Cai T, Millican K, Hoffmann J, Song F, et al. Scaling Language Models: Methods, Analysis & Insights from Training Gopher. arXiv preprint arXiv:2112.11446. 2021 Dec 22.
8. AI@Meta. Introducing Meta Llama 3: The most capable openly available LLM to date. Meta AI Blog. 2024 Apr 18. Available from: https://ai.meta.com/blog/meta-llama-3/
9. Dubey A, et al. Herd of Models: Llama 3 and the Future of Open LLMs. Meta AI Research. 2024.
10. Sardana N, et al. Beyond Chinchilla-Optimal: Accounting for Inference in Language Model Scaling Laws. arXiv preprint arXiv:2401.00448v2. 2024.
11. Touvron H, Martin L, Stone K, Albert P, Almahairi A, Babaei Y, et al. Llama 2: Open Foundation and Fine-Tuned Chat Models. arXiv preprint arXiv:2307.09288. 2023 Jul 18.
12. Schaeffer R, Miranda B, Koyejo S. Are Emergent Abilities of Large Language Models a Mirage?. In: Advances in Neural Information Processing Systems 36. 2023.
13. Wei J, Wang X, Schuurmans D, Bosma M, Chi E, Le Q, et al. Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv preprint arXiv:2201.11903. 2022 Jan 28.
14. Srivastava A, Rastogi A, Rao A, et al. Beyond the Imitation Game: Quantifying and extrapolating the capabilities of language models. arXiv preprint arXiv:2206.04615. 2022.
15. Shazeer N, Mirhoseini A, Maziarz K, Davis A, Le Q, Hinton G, et al. Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer. arXiv preprint arXiv:1701.06538. 2017 Jan 26.
16. Clark A, De Las Casas D, Guy A, Mensch A, Paganini M, Hoffmann J, et al. Unified Scaling Laws for Routed Language Models. In: Proceedings of the 39th International Conference on Machine Learning. PMLR; 2022. p. 4057-4086.
17. Ng A. A Chat with Andrew on MLOps: From Model-centric to Data-centric AI. deeplearning.ai. 2021.
18. Zha D, et al. Data-centric AI: A new paradigm for machine learning. KDD Explorations. 2023;25(1):63-74.
19. Karpathy A. Tesla AI Day. 2021. Available from: https://www.youtube.com/watch?v=j0z4FweCy4M
20. Raffel C, Shazeer N, Roberts A, Lee K, Narang S, Matena M, et al. Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer. Journal of Machine Learning Research. 2020;21(140):1-67.
21. Touvron H, Lavril T, Izacard G, Martinet X, Lachaux MA, Lacroix T, et al. LLaMA: Open and Efficient Foundation Language Models. arXiv preprint arXiv:2302.13971. 2023 Feb 27.
22. Fedus W, Zoph B, Shazeer N. Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity. arXiv preprint arXiv:2101.03961. 2021 Jan 11.
23. Anthropic. Responsible Scaling Policy. 2024. Available from: https://www.anthropic.com/responsible-scaling-policy
24. Anderson PW. More Is Different. Science. 1972 Aug 4;177(4047):393-6.
25. OpenAI, Pilipiszyn A. GPT-3: Language Models are Few-Shot Learners. OpenAI Blog. 2021.
26. Hestness J, Narang S, Ardalani N, et al. Deep Learning Scaling is Predictable, Empirically. arXiv preprint arXiv:1712.00409. 2017 Dec 1.
27. Hoffmann J, Borgeaud S, Mensch A, et al. Training Compute-Optimal Large Language Models. In: Proceedings of the 36th Conference on Neural Information Processing Systems (NeurIPS 2022). 2022.
28. Chowdhery A, Narang S, Devlin J, Bosma M, Mishra G, Roberts A, et al. PaLM: Scaling Language Modeling with Pathways. Journal of Machine Learning Research. 2023;24(245):1-113.
29. Bai Y, Jones A, Ndousse K, Askell A, Chen A, DasSarma N, et al. Constitutional AI: Harmlessness from AI Feedback. arXiv preprint arXiv:2212.08073. 2022 Dec 15.
30. Anthropic. Claude’s Constitution. 2023. Available from: https://www.anthropic.com/news/claudes-constitution
31. Kaplan J, McCandlish S, Henighan T, et al. Scaling Laws for Neural Language Models. arXiv preprint arXiv:2001.08361. 2020.
32. Digital Constitutionalist. On ‘Constitutional AI’. 2023. Available from: https://digi-con.org/on-constitutional-ai/
33. LessWrong. Chinchilla’s wild implications. 2022. Available from: https://www.lesswrong.com/posts/6Fpvch8RR29qLEWNH/chinchilla-s-wild-implications
34. Factorial Funds. Thoughts on Llama 3. 2024. Available from: https://www.factorialfunds.com/blog/thoughts-on-llama-3
35. LifeArchitect.ai. Chinchilla data-optimal scaling laws: In plain English. Available from: https://lifearchitect.ai/chinchilla/
36. Wei J. 137 emergent abilities of large language models. 2022. Available from: https://www.jasonwei.net/blog/emergence
37. CSET. Emergent Abilities in Large Language Models: An Explainer. 2023. Available from: https://cset.georgetown.edu/article/emergent-abilities-in-large-language-models-an-explainer/
38. Stanford University. Evaluating AI language models just got more effective and efficient. Stanford Report. 2025. Available from: https://news.stanford.edu/stories/2025/07/new-cost-effective-way-to-evaluate-AI-language-models
39. ACL Anthology. A Proposal for Scaling the Scaling Laws. 2024. Available from: https://aclanthology.org/2024.scalellm-1.1.pdf
40. neptune.ai. Data-Centric Approach vs Model-Centric Approach in Machine Learning. Available from: https://neptune.ai/blog/data-centric-vs-model-centric-machine-learning
41. Kili Technology. Data-Centric AI vs. Model-Centric AI. 2024. Available from: https://kili-technology.com/large-language-models-llms/llama-3-guide-everything-you-need-to-know-about-meta-s-new-model-and-its-data
42. The New Stack. The Paradigm Shift from Model-Centric to Data-Centric AI. Available from: https://thenewstack.io/the-paradigm-shift-from-model-centric-to-data-centric-ai/
43. MIT DCAI. Data-Centric AI vs. Model-Centric AI. 2024. Available from: https://dcai.csail.mit.edu/2024/data-centric-model-centric/
44. Medium. From Model-Centric to Data-Centric AI. Available from: https://rashidkazmi.medium.com/from-model-centric-to-data-centric-ai-b9fe9faee678
45. ResearchHub. DATA CENTRIC AI vs MODEL CENTRIC AI: WHICH APPROACH TO GO… Available from: https://www.researchhub.com/post/2007/data-centric-ai-vs-model-centric-ai-which-approach-to-go-after-in-machine-learning
46. Legaltech.com.au. The Chinchilla Point: How Meta’s Llama 3 is Redefining AI Scaling Laws. 2024. Available from: https://legalgenie.com.au/artificial-intelligence/chinchilla-point/
47. OpenReview. Scaling Laws for Upcycling Mixture-of-Experts Language Models. Available from: https://openreview.net/forum?id=ZBBo19jldX
48. GitHub. wrmedford/moe-scaling: Scaling Laws for Mixture of Experts Models. Available from: https://github.com/wrmedford/moe-scaling
49. MIT News. The unique, mathematical shortcuts language models use to predict dynamic scenarios. 2025. Available from: https://news.mit.edu/2025/unique-mathematical-shortcuts-language-models-use-to-predict-dynamic-scenarios-0721
50. YouTube. THIS is why large language models can understand the world. Available from: https://www.youtube.com/watch?v=UKcWu1l_UNw
51. Metaculus. How many FLOPS will be used to train GPT-4 (if it is released)?. Available from: https://www.metaculus.com/questions/9519/flops-used-for-gpt-4-if-released/
52. ACL Anthology. The economic trade-offs of large language models: A case study. 2023. Available from: https://aclanthology.org/2023.acl-industry.24.pdf
53. Srivastava A, et al. Beyond the Imitation Game: Quantifying and extrapolating the capabilities of language models. arXiv preprint arXiv:2206.04615. 2022.
54. Database Mart. Best NVIDIA GPUs for LLM Inference in 2025. Available from: https://www.databasemart.com/blog/best-nvidia-gpus-for-llm-inference-2025
55. Medium. Best NVIDIA GPUs for Large Language Model (LLM) Inference in 2025. Available from: https://medium.com/@tam.tamanna18/the-best-nvidia-gpus-for-large-language-model-llm-inference-in-2025-91ad1b6f954e
56. Google Cloud. Tensor Processing Units (TPUs). Available from: https://cloud.google.com/tpu
57. Google Cloud. TPU v6e. Available from: https://cloud.google.com/tpu/docs/v6e
58. Medium. GPU and TPU Comparative Analysis Report. Available from: https://bytebridge.medium.com/gpu-and-tpu-comparative-analysis-report-a5268e4f0d2a
59. Wikipedia. Tensor Processing Unit. Available from: https://en.wikipedia.org/wiki/Tensor_Processing_Unit
60. NVIDIA Developer Blog. NVIDIA Blackwell Delivers up to 2.6x Higher Performance in MLPerf Training v5.0. 2025. Available from: https://developer.nvidia.com/blog/nvidia-blackwell-delivers-up-to-2-6x-higher-performance-in-mlperf-training-v5-0/
61. AI Sustainability Center. Summary Report: White Paper on Global Artificial Intelligence Environmental Impact. Available from: https://ai-sustainability.pubpub.org/pub/fz5j9nzu
62. MIT News. Explained: Generative AI’s environmental impact. 2025. Available from: https://news.mit.edu/2025/explained-generative-ai-environmental-impact-0117
63. The Digital Constitutionalist. On ‘Constitutional’ AI. 2023. Available from: https://digi-con.org/on-constitutional-ai/
64. Constitutional AI. Constitutional AI | Tracking Anthropic’s AI Revolution. Available from: https://www.constitutional.ai/
65. arXiv. Position: Enough of Scaling LLMs! Lets Focus on Downscaling. 2025. Available from: https://arxiv.org/html/2505.00985v2
66. Epoch AI. Scaling Laws Literature Review. Available from: https://epoch.ai/blog/scaling-laws-literature-review
67. Reddit. Something doesn’t add up with Chinchilla scaling laws and recent LLM improvements. Available from: https://www.reddit.com/r/LocalLLaMA/comments/1gm96gd/something_doesnt_add_up_with_chinchilla_scaling/
68. Google Scholar. ‪Jordan Hoffmann‬. Available from: https://scholar.google.com/citations?user=4A91qjAAAAAJ&hl=en

---

ご利用規約（免責事項）

当サイト（以下「本サイト」といいます）をご利用になる前に、本ご利用規約（以下「本規約」といいます）をよくお読みください。本サイトを利用された時点で、利用者は本規約の全ての条項に同意したものとみなします。

第1条（目的と情報の性質）

1. 本サイトは、医療分野におけるAI技術に関する一般的な情報提供および技術的な学習機会の提供を唯一の目的とします。
2. 本サイトで提供されるすべてのコンテンツ（文章、図表、コード、データセットの紹介等を含みますが、これらに限定されません）は、一般的な学習参考用であり、いかなる場合も医学的な助言、診断、治療、またはこれらに準ずる行為（以下「医行為等」といいます）を提供するものではありません。
3. 本サイトのコンテンツは、特定の製品、技術、または治療法の有効性、安全性を保証、推奨、または広告・販売促進するものではありません。紹介する技術には研究開発段階のものが含まれており、その臨床応用には、さらなる研究と国内外の規制当局による正式な承認が別途必要です。
4. 本サイトは、情報提供を目的としたものであり、特定の治療法を推奨するものではありません。健康に関するご懸念やご相談は、必ず専門の医療機関にご相談ください。

第2条（法令等の遵守）
利用者は、本サイトの利用にあたり、医師法、医薬品、医療機器等の品質、有効性及び安全性の確保等に関する法律（薬機法）、個人情報の保護に関する法律、医療法、医療広告ガイドライン、その他関連する国内外の全ての法令、条例、規則、および各省庁・学会等が定める最新のガイドライン等を、自らの責任において遵守するものとします。これらの適用判断についても、利用者が自ら関係各所に確認するものとし、本サイトは一切の責任を負いません。

第3条（医療行為における責任）

1. 本サイトで紹介するAI技術・手法は、あくまで研究段階の技術的解説であり、実際の臨床現場での診断・治療を代替、補助、または推奨するものでは一切ありません。
2. 医行為等に関する最終的な判断、決定、およびそれに伴う一切の責任は、必ず法律上その資格を認められた医療専門家（医師、歯科医師等）が負うものとします。AIによる出力を、資格を有する専門家による独立した検証および判断を経ずに利用することを固く禁じます。
3. 本サイトの情報に基づくいかなる行為によって利用者または第三者に損害が生じた場合も、本サイト運営者は一切の責任を負いません。実際の臨床判断に際しては、必ず担当の医療専門家にご相談ください。本サイトの利用によって、利用者と本サイト運営者の間に、医師と患者の関係、またはその他いかなる専門的な関係も成立するものではありません。

第4条（情報の正確性・完全性・有用性）

1. 本サイトは、掲載する情報（数値、事例、ソースコード、ライブラリのバージョン等）の正確性、完全性、網羅性、有用性、特定目的への適合性、その他一切の事項について、何ら保証するものではありません。
2. 掲載情報は執筆時点のものであり、予告なく変更または削除されることがあります。また、技術の進展、ライブラリの更新等により、情報は古くなる可能性があります。利用者は、必ず自身で公式ドキュメント等の最新情報を確認し、自らの責任で情報を利用するものとします。

第5条（AI生成コンテンツに関する注意事項）
本サイトのコンテンツには、AIによる提案を基に作成された部分が含まれる場合がありますが、公開にあたっては人間による監修・編集を経ています。利用者が生成AI等を用いる際は、ハルシネーション（事実に基づかない情報の生成）やバイアスのリスクが内在することを十分に理解し、その出力を鵜呑みにすることなく、必ず専門家による検証を行うものとします。

第6条（知的財産権）

1. 本サイトを構成するすべてのコンテンツに関する著作権、商標権、その他一切の知的財産権は、本サイト運営者または正当な権利を有する第三者に帰属します。
2. 本サイトのコンテンツを引用、転載、複製、改変、その他の二次利用を行う場合は、著作権法その他関連法規を遵守し、必ず出典を明記するとともに、権利者の許諾を得るなど、適切な手続きを自らの責任で行うものとします。

第7条（プライバシー・倫理）
本サイトで紹介または言及されるデータセット等を利用する場合、利用者は当該データセットに付随するライセンス条件および研究倫理指針を厳格に遵守し、個人情報の匿名化や同意取得の確認など、適用される法規制に基づき必要とされるすべての措置を、自らの責任において講じるものとします。

第8条（利用環境）
本サイトで紹介するソースコードやライブラリは、執筆時点で特定のバージョンおよび実行環境（OS、ハードウェア、依存パッケージ等）を前提としています。利用者の環境における動作を保証するものではなく、互換性の問題等に起因するいかなる不利益・損害についても、本サイト運営者は責任を負いません。

第9条（免責事項）

1. 本サイト運営者は、利用者が本サイトを利用したこと、または利用できなかったことによって生じる一切の損害（直接損害、間接損害、付随的損害、特別損害、懲罰的損害、逸失利益、データの消失、プログラムの毀損等を含みますが、これらに限定されません）について、その原因の如何を問わず、一切の法的責任を負わないものとします。
2. 本サイトの利用は、学習および研究目的に限定されるものとし、それ以外の目的での利用はご遠慮ください。
3. 本サイトの利用に関連して、利用者と第三者との間で紛争が生じた場合、利用者は自らの費用と責任においてこれを解決するものとし、本サイト運営者に一切の迷惑または損害を与えないものとします。
4. 本サイト運営者は、いつでも予告なく本サイトの運営を中断、中止、または内容を変更できるものとし、これによって利用者に生じたいかなる損害についても責任を負いません。

第10条（規約の変更）
本サイト運営者は、必要と判断した場合、利用者の承諾を得ることなく、いつでも本規約を変更することができます。変更後の規約は、本サイト上に掲載された時点で効力を生じるものとし、利用者は変更後の規約に拘束されるものとします。

第11条（準拠法および合意管轄）
本規約の解釈にあたっては、日本法を準拠法とします。本サイトの利用および本規約に関連して生じる一切の紛争については、東京地方裁判所を第一審の専属的合意管轄裁判所とします。

---

For J³, may joy follow you.