第35日：手計算による誤差逆伝播と勾配流

$\delta_o=4.2511$。$\partial L/\partial w_{o1}=4.2511\times0.8741=3.7157$、$\partial L/\partial w_{o2}=4.2511\times(-0.9757)=-4.1480$、$\partial L/\partial b_o=4.2511$。バイアスは係数1で加算される。$a_1$ に届く勾配は $\delta_o w_{o1}=4.2511$ で、さらに $\tanh'(z_1)=1-a_1^2$ を掛ける。

参照勾配表（表示桁による丸めは許容する）：
| param | factors | value |
| --- | --- | --- |
| $w_{o1}$ | $4.2511 \times 0.8741$ | $3.7157$ |
| $w_{o2}$ | $4.2511 \times (-0.9757)$ | $-4.1480$ |
| $b_o$ | $4.2511 \times 1$ | $4.2511$ |
| $w_{11}$ | $4.2511 \times 0.2360 \times 2.0$ | $2.0068$ |
| $w_{12}$ | $4.2511 \times 0.2360 \times (-1.0)$ | $-1.0034$ |
| $b_1$ | $4.2511 \times 0.2360 \times 1$ | $1.0034$ |
| $w_{21}$ | $-8.5022 \times 0.0479 \times 2.0$ | $-0.8149$ |
| $w_{22}$ | $-8.5022 \times 0.0479 \times (-1.0)$ | $0.4075$ |
| $b_2$ | $-8.5022 \times 0.0479 \times 1$ | $-0.4075$ |

$\tanh'(z_2)=0.0479$ が第2ニューロンの勾配を縮める。これは飽和の予告である。

$\tanh'(4)\approx1.34\times10^{-3}$、$\tanh'(8)\approx4.5\times10^{-7}$。後者は入力勾配の百万分の一も通さない。$0.5^{10}=9.77\times10^{-4}$ で入力勾配の0.1%未満になる。+= は共有ノードの全消費経路を加算する。_backward は全下流寄与の到着後に実行する。$\partial f/\partial a=10=7+3$。N1は $a_1=0.8741$、$a_2=-0.9757$、$o=3.1255$、$L=4.5179$。

参照解（値は新しい重みでなく、損失のパラメータ微分）：
$\delta_o = -1.8925$; $\partial L/\partial w_{o1} = -0.6366$, $\partial L/\partial w_{o2} = -0.5513$, $\partial L/\partial b_o = -1.8925$; $\partial L/\partial w_{11} = \partial L/\partial w_{12} = \partial L/\partial b_1 = -1.6784$; $\partial L/\partial w_{21} = \partial L/\partial w_{22} = \partial L/\partial b_2 = 3.4638$.

4つの式：
$\delta^L = \nabla_a L \odot \sigma'(z^L)$; $\delta^l = (W^{l+1})^T\delta^{l+1}\odot\sigma'(z^l)$; $\partial L/\partial b^l = \delta^l$; $\partial L/\partial W^l = \delta^l(a^{l-1})^T$.

エンジンで全9項を照合する。クイズはdelta構造、飽和、累積を扱う。