ハクソク

世界を動かす技術を、日本語で。

10-202: 現代AI入門 (CMU)

85日前原文(modernaicourse.org)

概要

  • Logisticsコース の全体像とオンライン提供について解説
  • AIとLLM に関する基礎知識と実装手順の習得
  • 課題・評価方法 や必要な前提知識の明示
  • 講義スケジュール と各課題の内容整理
  • AI利用方針 と学習上の推奨事項

Logisticsコース概要

  • 担当教員 ：Zico Kolter
  • 講義時間 ：月・水（必要時のみ金曜）9:30–10:50、Tepper 1403教室
  • オンライン版 ：CMU版の2週間遅れで無料提供、1/26開始
    • 講義動画や課題（mugradeによる自動採点）を公開
    • クイズや中間・期末試験はオンラインでは非対応
    • 登録者には講義・課題の案内メール配信
  • 注意事項 ：TAやオフィスアワー等はCMU版のみ対象

シラバス概要

  • 目標 ：現代AIシステム（特にLLM）の仕組み理解と基礎実装
  • 対象AI ：ChatGPT, Gemini, Claude等の機械学習・LLMベースのAI
    • 学術的なAIの定義よりも、実用的なチャットボット等に焦点
  • 習得内容 ：
    • 教師あり学習の基礎
    • 大規模言語モデル（LLM）
    • ポストトレーニング手法
    • オープンソースLLMの実装・学習

主要トピック

  • AIの歴史概観
  • 教師あり機械学習
  • 線形モデル
  • 損失関数と最適化
  • ニューラルネットワーク
  • 大規模言語モデル（LLM）
  • Self attention・Transformer
  • トークナイザー
  • 効率的推論
  • ポストトレーニング（微調整・アライメント）
  • 推論モデル・強化学習
  • AIの安全性・セキュリティ

評価方法

  • 課題・プログラミング課題 ：20%
  • 課題クイズ ：40%
  • 中間・期末試験 ：40%（中間2回各10%、期末20%）

前提知識

  • プログラミング ：15-112または15-122修了レベル（Python・OOP必須）
  • 数学 ：21-111または21-120修了レベル（微分計算の基礎）
    • 線形代数・確率の基礎知識も推奨（必要分は講義内で補足）

課題・プログラミング課題

  • AIチャットボットの最小実装 を段階的に作成
  • 提出方法 ：mugradeシステム（Colab/Marimo notebook形式）
  • 課題例 ：
    • HW0：自動採点・プログラミング基礎
    • HW1：線形代数・PyTorch入門
    • HW2：自動微分・線形モデル学習
    • HW3：ニューラルネットワーク実装
    • HW4：Transformer実装
    • HW5：最小LLM実装
    • HW6：教師あり微調整・チャット学習
    • HW7：強化学習
  • 課題クイズ ：各課題に対応した15分の小テスト（コードや概念の再現）

中間・期末試験

  • 中間試験 ：2回（各セクション範囲）
  • 期末試験 ：全範囲（後半重視）
  • すべて ：持ち込み不可（教科書・ノート禁止）

講義スケジュール（抜粋）

  • 1/12：コース案内・AIの歴史
  • 1/14：教師あり学習入門
  • 1/21：線形代数・PyTorch
  • 1/28：線形モデル
  • 2/2：最適化・勾配降下法
  • 2/9：ニューラルネットワーク
  • 2/16：中間1（教師あり学習）
  • 2/25：Transformerモデル
  • 3/18：中間2（LLM）
  • 4/8：LLM向け強化学習
  • 4/20：AGIと未来

AI利用方針

  • 課題・プログラミング ：AIアシスタント利用可（理解補助・実装参考）
    • 最終提出は自身で作成することを強く推奨
  • クイズ・試験 ：AIや外部資料の利用禁止
  • 理由 ：AIの過度な依存は理解の妨げとなるため
    • 自力で取り組むことで、試験本番でのパフォーマンス向上を期待

まとめ

  • 現代AI・LLMの基礎から実装まで を体系的に学習
  • 段階的課題 と 理論・実装の両面 から理解を深める構成
  • AI活用の現実的なガイドライン と 学習効果最大化 への配慮

Hackerたちの意見

シンボリック推論については何もないの？

└

それは今の「古典的AI」の一部だと思うよ。

└

それは現代の真逆だね。

└

いいえ。それは秋学期のポストモダンAIコースで扱われます。

└

それはAIじゃないよ。

AIコースのAIポリシー「学生はすべての宿題やプログラミング課題にAIアシスタントを使用することが許可されています（特に、混乱しそうなトピックを理解するための参考として）。しかし、最終的に提出する課題はAIなしで完成させることを強く推奨します。授業中の評価（宿題のクイズや中間試験、期末試験）では、こうしたアシスタントや外部資料を使用することはできません。このポリシーの理由はシンプルです：AIは学習ツールとして非常に役立つことがあります（実際の実装ツールとしても）、しかし、これらのシステムに過度に依存することは、現在のところ多くの場合、学習にとってマイナスになることがあります。AIツールを使ってコーディングや他のタスクを学ぶことは絶対に必要ですが、私たちが出す比較的短い課題に対してAIが生成した解答を提出することは（少なくとも私たちの現在の経験では）、最終的には教材の理解が大幅に減少することにつながる可能性があります。課題に関してはあなたの選択ですが、自分で最終的な宿題の解答を考えた方が、授業中のクイズや試験でずっと良い成績を取れると思います。」

└

こうあるべきだよね。AIを使って理解を早めて、最終的な評価は助けなしで理解を固める。

└

最終試験の結果がめちゃくちゃ悪いか、カンニングすると思うな。

└

CMUの「合理的な人の原則」に基づいてる感じがする。人々が宿題にAIを使うことを知ってるけど、学びたいと思ってるし、スキルを向上させたいという信頼があるんだよね。これはそのための良いアドバイスだと思う。前に関わった関連コースがあったから、ちょっと偏見があるかも。重要なポイントは、（おそらく）大きな宿題の細かいデバッグではなく、そのプロセスで得られる高レベルの概要なんだ。AIの支援があれば、もっと多くのコンテンツをカバーできて、より大きくてリアルなシステムを構築できる。Deep Learning Systemsの最初のイテレーションでは、宿題が前のものに基づいていて、予期しない微妙な方法でエラーが蓄積されることがあった。オフィスアワーでそのエラーを見つけるためにコードを二分探索するのにかなりの時間を費やしたよ。LLMでそのエラーを診断するのも同じくらい教育的だったはず。そうすれば、学生たちは時間に追われて2Dの畳み込みのバックワードパスの微妙なバグを探す代わりに、CUDAでクールなものを実装する時間をもっと持てたはずだ。でも、このコースの幅と深さは素晴らしかったし、AIの支援でさらに進めることができれば最高だね。この新しいクラスは本当にクールで、Zicoは素晴らしい先生だよ。

これっていいコースだと思う？それとも、LLMの仕組みを学ぶための構造化されたコースとして何かおすすめある？

LispとPrologの復活をやっと見られて嬉しい！

└

プロログの別名はエルムだよ、知ってた？

└

LispとPrologは、実際には「復活」したこともなければ、完全に消え去ったこともないんだよね。だから、復活することもない。ずっと裏方で、ニッチな存在として存在し続けてるし、これからもそうだろうね。

└

残念ながら、このコースには含まれてないけど、LispとPrologは他のことにはすごく役立つよ。Cは、ゼロからニューラルネットワークを構築するにはいいし、Pythonを使って異なるサブシステムをくっつけて、もっと複雑なものを作ることができる。

ポストモダンなAIが待ちきれない！

└

AIロボットよりも上手にハンバーガーをひっくり返す方法！

シェアしてくれてありがとう、これめっちゃいいね。

講師がこのコースに合わせた教科書を出してくれるといいな。即買いするよ！

知らない人のために言っとくけど、これの講師はOpenAIの理事なんだよね。

「現代AI」がここでLLMだけを指してるのがちょっとイラッとする。現代AIはそれだけじゃないからね。とはいえ、CMUのコースは大体素晴らしいから、いいコースかもしれない。タイトルのせいで、もっと多くの最先端モデルが期待できると思ってたんだけど。もし誰かがそういうリソースを持ってたら、めっちゃ興味ある！

数日前にこのコースの無料版を始めたんだけど、レッスンはすごく良いし、さらに良いのは宿題のタスク！これのおかげで、自分のテストをローカルで実行できるんだ。聞いて理解するのは簡単でも、自分でコードを書くのができないことがあるから、このコーディングの宿題が新しい知識を固めるのに本当に役立ってる。10点満点中10点、超おすすめ！