第56日: 第8週の総復習: オプティマイザからチェックポイントまで + リソース計画

参考解答と分析を表示:

1. ブロックごと = 12 * 768^2 + 4 * 768 = 7,080,960、12 ブロックで 84,971,520。埋め込み = 50,257 * 768 + 1,024 * 768 = 39,383,808。最終 LayerNorm = 2 * 768 = 1536。合計 N = 124,356,864。線形層バイアス（12 * 9 * 768 = 82,944）を加えると 124,439,808 で、bias=True の GPT-2 で PyTorch が報告する数と一致する。N = 124,356,864 の FP16 重み: 248,713,728 バイト = 237.2 MiB（248.7 MB）。
2. 静的 = 1e9 * 16 バイト = 16 GB。合計 = 16 + 8（活性化）+ 1（CUDA コンテキスト）= 25 GB > 24 GB なので、勾配チェックポイント、小さいマイクロバッチと勾配累積、ZeRO オフロードのいずれかを使わない限りメモリ不足になる。
3. C = 6 * N * D = 6 * 125e6 * 10e9 = 7.5e18 FLOPs。実効スループット = 1.248e14 FLOP/s。時間 = 60,096 秒 = 16.69 時間。費用 = 16.69 * $1.50 = $25.04。

参考解答と分析を表示:

1. m1 = 0.1 * 0.4 = 0.04、m_hat = 0.04 / 0.1 = 0.4。v1 = 0.001 * 0.16 = 0.00016、v_hat = 0.16、平方根 0.4。w1 = 2.0 * (1 - 0.01 * 0.1) - 0.01 * 0.4 / 0.4 = 1.998 - 0.01 = 1.988。
2. 減衰は dim >= 2 のテンソルにかかる: W^Q とトークン埋め込み。LayerNorm のゲインと MLP のバイアスは 1 次元なので減衰しない（第50日）。
3. ステップ 50: 5e-4。ステップ 100: 1e-3。ステップ 600: 1e-4 + 0.5 * 9e-4 = 5.5e-4。ステップ 1,100: 1e-4。ステップ 2,000: 1e-4（下限で固定）。
4. 係数は 1.0 / 4.0 = 0.25。順序: optimizer.zero_grad(set_to_none=True); logits, loss = model(x, y); loss.backward(); clip_grad_norm_(model.parameters(), 1.0); optimizer.step()（第51日）。
5. ロジット / 0.5 = [4, 2, 0] なので softmax = [0.8668, 0.1173, 0.0159]。top-p 0.9: A 単独では 0.8668 < 0.9、A + B で 0.9841 に達するので {A, B} を残し、[0.8808, 0.1192, 0] に再正規化する（第52日）。

参考解答と分析を表示:

1. PPL = exp(2.0794) ≈ 8.0。学習損失が下がり続ける一方で検証損失が 2.0794 から 2.31 に上がるので、ステップ 3,000 以降は過学習。検証損失で選んだステップ 3,000 のチェックポイントを残す（第53日）。
2. トークンをシャッフルすると同じ文の隣接語が両方の分割に入り、検証データが漏洩する。先に文書単位で分割し、それぞれをトークン化する（第53日）。
3. 反復ループ: 貪欲デコードが自分の出力を入力に戻し、アトラクタに落ちる（第54日）。バイグラム: ab, ba, ab, ba, ab の計 5 個、異なるものは 2 個なので Distinct-2 = 0.4。
4. オプティマイザ状態がないと AdamW は m = v = 0、step = 0 から再出発し、iter_num がないとスケジュールがウォームアップに戻るため、再開直後の更新の大きさがおかしくなる（第55日）。アトミック書き込み付きのペイロード:

payload = {
    'model': model.state_dict(),
    'optimizer': optimizer.state_dict(),   # AdamW m, v and step per parameter
    'iter_num': iter_num,                  # drives get_lr(it) on resume
    'best_val_loss': best_val_loss,
    'rng': torch.get_rng_state(),
    'config': config,
}
torch.save(payload, path + '.tmp')
with open(path + '.tmp', 'rb') as f:
    os.fsync(f.fileno())
os.replace(path + '.tmp', path)

5. 重み 124,356,864 * 4 = 497,427,456 バイト、モーメント 124,356,864 * 8 = 994,854,912 バイト、合計 1,492,282,368 バイト ≈ 1.49 GB（1.39 GiB）。

参考解答と分析を表示:

1. 2.5e9 / 524,288 = 4,768.4 なので 4,769 ステップ。ウォームアップ 2% ≈ 95 ステップ。コサイン区間の中間点で lr = 6e-5 + 0.5 * (6e-4 - 6e-5) = 3.3e-4。
2. 124,356,864 * 16 = 1,989,709,824 バイト ≈ 1.99 GB で、40 GB よりはるかに小さい。マイクロバッチを制限するのは活性化メモリで、そのため 16 x 1,024 と累積 32 ステップにしている。
3. C = 6 * 124,356,864 * 2.5e9 = 1.865e18 FLOPs。時間 = 1.865e18 / 1.092e14 = 17,082 秒 ≈ 4.74 時間。費用 ≈ 4.74 * $1.20 = $5.69。これらは予測値: 最初のステップの後、35% の MFU を実測値に置き換えて再計算する。
4. estimate_loss（model.eval()、torch.no_grad()、各分割約 200 バッチ）を 250 ステップごとと最後に実行する。最後ではなく検証損失が最小のチェックポイントを残す。各チェックポイントには model、optimizer、iter_num、best_val_loss、RNG 状態、config を含め、tmp + fsync + os.replace で書く。文書単位で作った分割での検証損失と、そのパープレキシティ exp(val_loss) を報告する。
5. 例:「サンプルは学習コーパスから学んだ局所的な構文と言い回しを示す。2.5B トークンで学習した 124M モデルは事実の検証や信頼できる推論はできず、そのような主張はしない。」