1719271142
2024-06-24 22:57:38
このコースでは、基礎から実用的な Web アプリケーションまで、ストーリーを生成するための言語モデル (LLM) の作成について説明します。 Python、C、CUDA を使用して、AI でストーリーを開発、洗練、説明する方法を学びます。
自分に作れないものは、分かりません。 -リチャード・ファインマン
このコースでは、ストーリーテリング AI 言語モデル (LLM) を構築します。 一緒に小さなものを作成し、洗練し、図解することができます。 物語 AIを使って。 ChatGPT に似た実用的な Web アプリケーションに至るまで、最小限のコンピューター サイエンス要件で、Python、C、CUDA を使用してゼロからすべてを構築します。 最終的には、AI、LLM、ディープ ラーニング全般について比較的深く理解できるようになります。
プログラム
- 第01章 バイグラム言語モデル (言語モデリング)
- 第02章 マイクログラッド (機械学習、バックプロパゲーション)
- 第03章 Nグラムモデル (多層パーセプトロン、マトムル、ゲル)
- 第04章 注意 (アテンション、ソフトマックス、位置エンコーダ)
- 第05章 変成器 (変換、残差、レイヤーノルム、GPT-2)
- 第06章 トークン化 (minBPE、バイトペアエンコーディング)
- 第07章 最適化 (初期化、最適化、AdamW)
- 第08章 ニード・フォー・スピード I : デバイス (デバイス、CPU、GPU、…)
- 第09章 ニード・フォー・スピード II : プレシジョン (混合精度トレーニング、fp16、bf16、fp8 など)
- 第10章 ニード・フォー・スピードIII：分散型 (分散最適化、DDP、ZeRO)
- 第11章 データセット (データセット、データ読み込み、合成データ生成)
- 第12章 推論 I : kv-cache (kv キャッシュ)
- 第13章 推論 II : 量子化 （量子化）
- 第14章 微調整 I : SFT (微調整監視付きSFT、PEFT、LoRA、チャット)
- 第15章 ファインチューニングⅡ：RL (強化学習、RLHF、PPO、DPO)
- 第16章 導入 (API、アプリケーションウェブ)
- 第17章 マルチモーダル (VQVAE、拡散変換)
別館
上記の進行に含めるその他のトピック:
- プログラミング言語: アセンブリ、C、Python
- データ型: 整数、浮動小数点、文字列 (ASCII、Unicode、UTF-8)
- テンソル: 形状、ビュー、ストライド、連続、…
- ディープラーニングフレームワーク: PyTorch、JAX
- ニューラル ネットワーク アーキテクチャ: GPT (1、2、3、4)、Llama (RoPE、RMSNorm、GQA)、MoE など。
- マルチモーダル: 画像、オーディオ、ビデオ、VQVAE、VQGAN、拡散
コメント
記事 AI ストーリーテラーの構築: LLM101n コース カテゴリーに投稿されました アイオワ の ヒューマンコーダーズニュース
#ストーリーテラーの構築 #LLM101n #コース