モデル構造
AlexNet → ResNet → Transformer → Vision Transformerで、畳み込み・残差接続・注意機構を追います。
AI論文の学習ルート
現代AIの流れがわかる重要論文20選
現代AIの全体像をつかむなら、AlexNet、ResNet、Transformerで構造の変化を学び、BERT、GPT-3、RAG、InstructGPTで言語モデルを追い、最後に拡散、マルチモーダル、Agentへ進みます。引用数だけではなく、構造・学習法・作れる製品を変えた論文を選びました。
目的別の読み順
大規模言語モデル
BERT → Scaling Laws → GPT-3 → RAG → InstructGPT → Chinchillaで、事前学習・規模・検索・整合を学びます。
生成とAgent
VAE → GAN → DDPM → Latent Diffusionから、Chain-of-ThoughtとReActへ進みます。
20本の論文が変えたこと
各項目から原論文と、公開済みの日本語図解へ進めます。
- 01
ImageNet Classification with Deep Convolutional Neural Networks
GPU・大規模データ・深い畳み込みネットワークを、拡張可能な画像認識の方法として結びつけました。
- 02
- 03
- 04
Deep Residual Learning for Image Recognition
残差接続によって、非常に深いネットワークを現実的に最適化できるようにしました。
- 05
- 06
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
双方向の事前学習とタスク別微調整を、自然言語理解の標準的な方法にしました。
- 07
Scaling Laws for Neural Language Models
モデル規模・データ・計算量と損失の関係が予測可能なべき乗則に従うことを示しました。
- 08
Language Models are Few-Shot Learners
大規模化した言語モデルが、少数の例を含むプロンプトだけで多様な課題に対応できると示しました。
- 09
Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
モデル内部の記憶と更新可能な外部検索を組み合わせ、知識アシスタントの基礎を作りました。
- 10
- 11
An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale
画像をパッチに分ければ、純粋なTransformerでも大規模画像認識で畳み込み網を上回れると示しました。
- 12
Learning Transferable Visual Models From Natural Language Supervision
大規模な画像と文章の対応学習により、強力なゼロショット視覚転移を可能にしました。
- 13
LoRA: Low-Rank Adaptation of Large Language Models
全パラメータを学習し直さず、小さな低ランク更新だけで大規模モデルを適応させました。
- 14
High-Resolution Image Synthesis with Latent Diffusion Models
拡散過程を圧縮潜在空間へ移し、高解像度の画像生成を現実的な計算量にしました。
- 15
Chain-of-Thought Prompting Elicits Reasoning in Large Language Models
途中の思考手順を含む少数例が、大規模モデルの複雑な推論を大きく改善すると示しました。
- 16
Training language models to follow instructions with human feedback
人間の指示と好みに言語モデルを合わせる実用的な学習手順を確立しました。
- 17
Training Compute-Optimal Large Language Models
多くの大規模モデルは学習データが不足していると示し、計算量あたりの最適な配分を見直しました。
- 18
ReAct: Synergizing Reasoning and Acting in Language Models
推論とツール操作を交互に行わせ、現在のAIエージェントの基本ループを示しました。
- 19
- 20
Visual Instruction Tuning
視覚指示チューニングにより画像エンコーダと言語モデルをつなぎ、対話型マルチモーダル助手を作りました。
FAQ
AI必読論文に関するFAQ
初心者はどのAI論文から読むべきですか？
まずTransformer論文を読み、その後にBERT、RAG、拡散モデルから目的に合うものを選ぶのがおすすめです。
20本をすべて精読する必要がありますか？
必要ありません。最初は要旨、手法図、主要結果、限界を読み、再現が必要なときに数式や学習条件へ進みます。
有名なモデルがすべて入っていないのはなぜですか？
新しさやブランドではなく、後続研究を理解するための転換点を優先しているためです。