第 56 天：第 8 周总复习：从优化器到检查点，以及资源规划

查看参考解答与分析:

1. 每块 = 12 * 768^2 + 4 * 768 = 7,080,960；12 块 = 84,971,520。嵌入 = 50,257 * 768 + 1,024 * 768 = 39,383,808。最终 LayerNorm = 2 * 768 = 1536。总计 N = 124,356,864。加上线性层偏置（12 * 9 * 768 = 82,944）得 124,439,808，与 bias=True 的 GPT-2 在 PyTorch 中统计的数量一致。N = 124,356,864 时的 FP16 权重：248,713,728 字节 = 237.2 MiB（248.7 MB）。
2. 静态 = 1e9 * 16 字节 = 16 GB。合计 = 16 + 8（激活）+ 1（CUDA 上下文）= 25 GB > 24 GB，除非使用梯度检查点、更小的微批次加梯度累积或 ZeRO 卸载，否则会显存不足。
3. C = 6 * N * D = 6 * 125e6 * 10e9 = 7.5e18 FLOPs。有效吞吐 = 1.248e14 FLOP/s。时长 = 60,096 秒 = 16.69 小时。费用 = 16.69 * $1.50 = $25.04。

查看参考解答与分析:

1. m1 = 0.1 * 0.4 = 0.04，m_hat = 0.04 / 0.1 = 0.4；v1 = 0.001 * 0.16 = 0.00016，v_hat = 0.16，开方为 0.4。w1 = 2.0 * (1 - 0.01 * 0.1) - 0.01 * 0.4 / 0.4 = 1.998 - 0.01 = 1.988。
2. 衰减只作用于 dim >= 2 的张量：W^Q 和 token 嵌入。LayerNorm 增益和 MLP 偏置是一维的，不做衰减（第 50 天）。
3. 第 50 步：5e-4。第 100 步：1e-3。第 600 步：1e-4 + 0.5 * 9e-4 = 5.5e-4。第 1,100 步：1e-4。第 2,000 步：1e-4（保持在下限）。
4. 系数为 1.0 / 4.0 = 0.25。顺序：optimizer.zero_grad(set_to_none=True); logits, loss = model(x, y); loss.backward(); clip_grad_norm_(model.parameters(), 1.0); optimizer.step()（第 51 天）。
5. logits / 0.5 = [4, 2, 0]，softmax = [0.8668, 0.1173, 0.0159]。top-p 0.9：只取 A 为 0.8668 < 0.9，A + B 达到 0.9841，因此保留 {A, B} 并重新归一化为 [0.8808, 0.1192, 0]（第 52 天）。

查看参考解答与分析:

1. PPL = exp(2.0794) ≈ 8.0。训练损失持续下降，而验证损失从 2.0794 升到 2.31，说明第 3,000 步之后过拟合；按验证损失选择，保留第 3,000 步的检查点（第 53 天）。
2. 打乱 token 会把同一句话的相邻词分到两个集合里，验证集发生泄漏。应先按文档切分，再分别分词（第 53 天）。
3. 重复循环：贪心解码把自己的输出当作输入，陷入吸引子（第 54 天）。bigram：ab, ba, ab, ba, ab 共 5 个，不同的 2 个，Distinct-2 = 0.4。
4. 没有优化器状态时，AdamW 从 m = v = 0、step = 0 重新开始；没有 iter_num 时调度会跳回预热阶段，因此恢复后的前几次更新幅度异常（第 55 天）。采用原子写入的 payload：

payload = {
    'model': model.state_dict(),
    'optimizer': optimizer.state_dict(),   # AdamW m, v and step per parameter
    'iter_num': iter_num,                  # drives get_lr(it) on resume
    'best_val_loss': best_val_loss,
    'rng': torch.get_rng_state(),
    'config': config,
}
torch.save(payload, path + '.tmp')
with open(path + '.tmp', 'rb') as f:
    os.fsync(f.fileno())
os.replace(path + '.tmp', path)

5. 权重 124,356,864 * 4 = 497,427,456 字节；两个矩 124,356,864 * 8 = 994,854,912 字节；合计 1,492,282,368 字节 ≈ 1.49 GB（1.39 GiB）。

查看参考解答与分析:

1. 2.5e9 / 524,288 = 4,768.4，取 4,769 步；预热 2% ≈ 95 步。余弦阶段中点 lr = 6e-5 + 0.5 * (6e-4 - 6e-5) = 3.3e-4。
2. 124,356,864 * 16 = 1,989,709,824 字节 ≈ 1.99 GB，远小于 40 GB。限制微批次的是激活值，所以计划使用 16 x 1,024 并累积 32 步。
3. C = 6 * 124,356,864 * 2.5e9 = 1.865e18 FLOPs。时长 = 1.865e18 / 1.092e14 = 17,082 秒 ≈ 4.74 小时。费用 ≈ 4.74 * $1.20 = $5.69。这些都是预测值：最初几步之后用实测 MFU 替换 35% 并重新计算。
4. 每 250 步和结束时运行 estimate_loss（model.eval()、torch.no_grad()、每个集合约 200 个批次）；保留验证损失最低的检查点，而不是最后一个；每个检查点包含 model、optimizer、iter_num、best_val_loss、RNG 状态和 config，用 tmp + fsync + os.replace 写入；报告在按文档切分的集合上的验证损失及其困惑度 exp(val_loss)。
5. 示例：“样本展示了从训练语料中学到的局部句法和措辞。用 2.5B token 训练的 124M 模型不能核实事实或可靠推理，我们也不做此类声明。”