上海交通大学（SJTU）の張卓晟教授が主導する、大規模言語モデル（LLM）の主要技術を手を動かしながら学ぶ実践チュートリアル集。同大学の大学院講義「自然言語処理フロンティア技術」「AI安全技術」をベースにしており、全11章・各章にスライド（PDF）＋解説（README）＋実行可能なJupyter Notebookが揃っている。
| 章 | テーマ | 代表的ツール/モデル |
|---|---|---|
| 1 | 事前学習モデルの微調整とデプロイ | HuggingFace Transformers, Gradio |
| 2 | プロンプト学習と思考の連鎖（CoT） | Qwen / GPT API |
| 3 | 知識編集（ROME, MEMIT） | EasyEdit |
| 4 | 数学推理のSFT蒸留 | Qwen2.5-Math, DeepMath-103K |
| 5 | テキスト透かし（Watermark） | KGW, X-SIR |
| 6 | Jailbreak攻撃 | EasyJailbreak |
| 7 | テキストステガノグラフィ | GPT-2, Huffman符号化 |
| 8 | マルチモーダルLLM | NExT-GPT |
| 9 | GUIエージェント構築 | Qwen2-VL, LLaMA-Factory |
| 10 | エージェント安全性評価 | R-Judge ベンチマーク |
| 11 | RLHF（人間フィードバックからの強化学習） | TRL (PPO), GPT-2 + BERT |
| 観点 | 本リポジトリ | 既存の類似手段 |
|---|---|---|
| カバー範囲 | 微調整→プロンプト→知識編集→安全性→マルチモーダル→RLHF まで 1リポジトリで一気通貫 | Hugging Face公式チュートリアルやLLM Bootcamp等は特定領域に特化しがちで、安全性やステガノグラフィまでは扱わない |
| 実践性 | 全章にそのまま動くNotebookがあり、Fake News検出やMessi知識書き換えなど具体的なユースケースで学べる | 論文読み解き中心の教材（Stanford CS224Nスライド等）は理論は強いがコードが手薄 |
| 安全性の重視 | 11章中4章（Jailbreak・透かし・ステガノ・エージェント安全）をAIセキュリティに割当て。攻撃と防御の両面を体験できる | 安全性を主軸に据えた体系的ハンズオン教材はほとんどない |
| 最新性 | 2025年6月更新。DeepSeek-R1蒸留、Qwen2-VL、GUIエージェント等最新モデル/手法を収録 | 書籍ベースの教材は出版サイクルが遅く、最新手法の反映に数年かかる |
| 独立性 | 各章が自己完結型（依存ライブラリも章内READMEに記載）。興味ある章だけ拾い読み可能 | 連続講義形式の教材は前章の完了を前提とすることが多い |
一言で言えば: 「LLMの主要技術トピックを、セキュリティ含めて網羅的に、動くコードで、最新モデルを使って学べる」という組み合わせがユニーク。
1. 章を選ぶ
└─ 全11章は独立しているので、興味あるテーマから着手してOK
（初学者は Chapter 1 → 2 → 11 の順が基礎→応用→整列の自然な流れ）
2. 環境を準備する
├─ Python 3.9 + PyTorch + CUDA 環境を用意
├─ 各章の README に記載された依存ライブラリをインストール
└─ 注意: 多くの章で GPU（VRAM 40GB〜80GB）が必要
（Chapter 2 など API 呼び出し中心の章は CPU でも可）
3. スライドで概念を掴む
└─ 各章に付属する PDF スライドで理論的背景を予習
4. Notebook を実行する
├─ Jupyter Notebook をセルごとに実行
├─ コード中のコメント・Markdown セルで手順を確認しながら進める
└─ モデル・データセットは HuggingFace Hub 等から自動DL
5. 結果を確認・改変する
└─ パラメータ変更・データ差し替え等で実験を深掘り
Tip: GPU環境がない場合は、Google Colab（Pro）や Huawei Ascend Community（華為昇腾社区との連携コンテンツあり）の活用が推奨されている。