第 56 天：第 8 週總複習：從最佳化器到檢查點，以及資源規劃

查看參考解答與分析:

1. 每區塊 = 12 * 768^2 + 4 * 768 = 7,080,960；12 區塊 = 84,971,520。嵌入 = 50,257 * 768 + 1,024 * 768 = 39,383,808。最終 LayerNorm = 2 * 768 = 1536。總計 N = 124,356,864。加上線性層偏置（12 * 9 * 768 = 82,944）得 124,439,808，與 bias=True 的 GPT-2 在 PyTorch 中統計的數量一致。N = 124,356,864 時的 FP16 權重：248,713,728 位元組 = 237.2 MiB（248.7 MB）。
2. 靜態 = 1e9 * 16 位元組 = 16 GB。合計 = 16 + 8（激活）+ 1（CUDA 上下文）= 25 GB > 24 GB，除非使用梯度檢查點、更小的微批次加梯度累積或 ZeRO 卸載，否則會記憶體不足。
3. C = 6 * N * D = 6 * 125e6 * 10e9 = 7.5e18 FLOPs。有效吞吐量 = 1.248e14 FLOP/s。時長 = 60,096 秒 = 16.69 小時。費用 = 16.69 * $1.50 = $25.04。

查看參考解答與分析:

1. m1 = 0.1 * 0.4 = 0.04，m_hat = 0.04 / 0.1 = 0.4；v1 = 0.001 * 0.16 = 0.00016，v_hat = 0.16，開方為 0.4。w1 = 2.0 * (1 - 0.01 * 0.1) - 0.01 * 0.4 / 0.4 = 1.998 - 0.01 = 1.988。
2. 衰減只作用於 dim >= 2 的張量：W^Q 和 token 嵌入。LayerNorm 增益和 MLP 偏置是一維的，不做衰減（第 50 天）。
3. 第 50 步：5e-4。第 100 步：1e-3。第 600 步：1e-4 + 0.5 * 9e-4 = 5.5e-4。第 1,100 步：1e-4。第 2,000 步：1e-4（維持在下限）。
4. 係數為 1.0 / 4.0 = 0.25。順序：optimizer.zero_grad(set_to_none=True); logits, loss = model(x, y); loss.backward(); clip_grad_norm_(model.parameters(), 1.0); optimizer.step()（第 51 天）。
5. logits / 0.5 = [4, 2, 0]，softmax = [0.8668, 0.1173, 0.0159]。top-p 0.9：只取 A 為 0.8668 < 0.9，A + B 達到 0.9841，因此保留 {A, B} 並重新正規化為 [0.8808, 0.1192, 0]（第 52 天）。

查看參考解答與分析:

1. PPL = exp(2.0794) ≈ 8.0。訓練損失持續下降，而驗證損失從 2.0794 升到 2.31，表示第 3,000 步之後過擬合；按驗證損失選擇，保留第 3,000 步的檢查點（第 53 天）。
2. 打亂 token 會把同一句話的相鄰詞分到兩個集合裡，驗證集發生洩漏。應先按文件切分，再分別分詞（第 53 天）。
3. 重複迴圈：貪婪解碼把自己的輸出當作輸入，陷入吸引子（第 54 天）。bigram：ab, ba, ab, ba, ab 共 5 個，不同的 2 個，Distinct-2 = 0.4。
4. 沒有最佳化器狀態時，AdamW 從 m = v = 0、step = 0 重新開始；沒有 iter_num 時排程會跳回預熱階段，因此恢復後的前幾次更新幅度異常（第 55 天）。採用原子寫入的 payload：

payload = {
    'model': model.state_dict(),
    'optimizer': optimizer.state_dict(),   # AdamW m, v and step per parameter
    'iter_num': iter_num,                  # drives get_lr(it) on resume
    'best_val_loss': best_val_loss,
    'rng': torch.get_rng_state(),
    'config': config,
}
torch.save(payload, path + '.tmp')
with open(path + '.tmp', 'rb') as f:
    os.fsync(f.fileno())
os.replace(path + '.tmp', path)

5. 權重 124,356,864 * 4 = 497,427,456 位元組；兩個矩 124,356,864 * 8 = 994,854,912 位元組；合計 1,492,282,368 位元組 ≈ 1.49 GB（1.39 GiB）。

查看參考解答與分析:

1. 2.5e9 / 524,288 = 4,768.4，取 4,769 步；預熱 2% ≈ 95 步。餘弦階段中點 lr = 6e-5 + 0.5 * (6e-4 - 6e-5) = 3.3e-4。
2. 124,356,864 * 16 = 1,989,709,824 位元組 ≈ 1.99 GB，遠小於 40 GB。限制微批次的是激活值，所以計畫使用 16 x 1,024 並累積 32 步。
3. C = 6 * 124,356,864 * 2.5e9 = 1.865e18 FLOPs。時長 = 1.865e18 / 1.092e14 = 17,082 秒 ≈ 4.74 小時。費用 ≈ 4.74 * $1.20 = $5.69。這些都是預測值：最初幾步之後用實測 MFU 取代 35% 並重新計算。
4. 每 250 步和結束時執行 estimate_loss（model.eval()、torch.no_grad()、每個集合約 200 個批次）；保留驗證損失最低的檢查點，而不是最後一個；每個檢查點包含 model、optimizer、iter_num、best_val_loss、RNG 狀態和 config，用 tmp + fsync + os.replace 寫入；報告在按文件切分的集合上的驗證損失及其困惑度 exp(val_loss)。
5. 範例：「樣本展示了從訓練語料中學到的局部句法和措辭。用 2.5B token 訓練的 124M 模型不能核實事實或可靠推理，我們也不做此類聲明。」