第36日：訓練ループ、学習率と工学失敗事例ギャラリー

手順

実行前に予測する。各epochで例のループ前にパラメータ勾配をゼロ化し、各例で新しい順伝播グラフを作り、二乗lossとbackwardを計算して勾配を累積する。全例の後で一度stepする。zero_gradはバッチ内最初の反伝播より前に置く。下記ではepochの先頭に置く。活動36-02と同じ4例、初期値を使い、初期平均損失は2.106。

for epoch in range(EPOCHS):
    for p in model.parameters():
        p.grad = 0.0                 # 1. zero stale gradients
    total = 0.0
    for (x, y) in dataset:
        out = model(x)               # 2. forward
        loss = (out - y) ** 2        # 3. loss
        loss.backward()              # 4. backward (accumulates batch grads)
        total += loss.data
    for p in model.parameters():
        p.data -= lr * p.grad        # 5. step along -gradient
    log(epoch, total / len(dataset))

手順

リポジトリのルートで次のコマンドを実行する。各runは同じ9初期値と4例から開始する。epochごとに葉を、例ごとに内部グラフを再作成し、4例の勾配を累積して更新する。ログは更新前の平均損失。更新には平均でなく勾配の和を使い、規約変更は実効学習率を変える。

python3 - <<'EOF'
from projects.autograd.engine import Value
initial = [0.5, -0.25, 0.1, -0.5, 1.0, -0.2, 1.0, -2.0, 0.3]
data = [((2.0,-1.0),1.0), ((0.5,0.5),-1.0), ((-1.0,1.0),-1.0), ((1.0,1.0),1.0)]
for lr in (0.05, 5.0):
    params = initial[:]
    for epoch in range(40):
        W = [Value(v) for v in params]  # Fresh leaves start with zero gradients.
        total = 0.0
        for (x1, x2), y in data:
            a1 = (W[0]*x1 + W[1]*x2 + W[2]).tanh()
            a2 = (W[3]*x1 + W[4]*x2 + W[5]).tanh()
            loss = (a1*W[6] + a2*W[7] + W[8] - y)**2
            loss.backward()  # Fresh interior graph, shared batch parameter leaves.
            total += loss.data
        if epoch in (0, 10, 20, 30, 39):
            print(lr, epoch, total / len(data))
        params = [p.data - lr*p.grad for p in W]  # Sum-gradient update, not mean.
EOF

手順

故障A：次のコマンドで同じグラフを2回反伝播しw11.gradを記録する。故障B：b1だけ8.0に変更してz1=9.25とし、tanh微分と隠れ重み勾配を測る。故障C：sum(w*x for w,x in zip([0.5,-0.25], [2.0,-1.0,999.0])) を評価し、余分な入力の行方を調べる。

python3 - <<'EOF'
import sys; sys.path.insert(0, '.')
from projects.autograd.engine import Value
x1, x2 = Value(2.0), Value(-1.0)
W = [Value(v) for v in (0.5,-0.25,0.1, -0.5,1.0,-0.2, 1.0,-2.0,0.3)]
a1 = (x1*W[0]+x2*W[1]+W[2]).tanh(); a2 = (x1*W[3]+x2*W[4]+W[5]).tanh()
loss = (a1*W[6]+a2*W[7]+W[8]-1.0)**2
loss.backward(); print('after 1st:', W[0].grad)
loss.backward(); print('after 2nd:', W[0].grad)
EOF

手順

AIなしでzero_grad→forward→loss→backward→stepを再現する。各epochで勾配が累積し損失が発散するrunについて症状・機構・修正を書く。独立クイズを受け、誤答ごとの回復リンクを記録する。