第 33 日：勾配欠陥の診断分析と AI 不使用独立習得基準評価

参考解答:
1. MRE: $a = \text{Value}(3.0); b = \text{Value}(4.0); f = (a + b) * a; f.\text{backward}()$。
2. 分岐のないグラフでは、各ノードが受け取る勾配は 1 つの経路からのみであるため、代入 (=) でも偶然正しい値となって欠陥が隠蔽されるためです。
3. すべての演算子の _backward() クロージャで self.grad = ... を self.grad += ... に変更します。

参考解答:
1. 葉ノードの勾配は正確に 2 倍になります。
2. メモリ制約下において、複数のマイクロバッチで勾配を累積してから optimizer.step() を呼び出すことで、実質的なバッチサイズを拡大する勾配累積（Gradient Accumulation）を可能にするためです。
3. 出力ベクトル $\mathbf{y} \in \mathbb{R}^m$ に対し、逆伝播は $\mathbf{v}^T J$ を計算します（ここで $\mathbf{v} = \text{grad\_outputs}$、ヤコビ行列の成分 $J_{ij} = \frac{\partial y_i}{\partial x_j}$）。

参考解答:
1. 純粋な Python スカラーエンジンは SIMD ベクトル化命令や GPU 演算加速に対応しておらず、オブジェクト生成コストが膨大であるため大規模行列演算に対応できません。
2. 連続テンソルは浮動小数点数をリニアメモリバッファに格納し、C++/CUDA カーネルが直接一括処理するため、要素ごとの Python オーバーヘッドが一切ありません。
3. micrograd は MIT ライセンスに基づき公開されており、再配布や派生実装では原著作者の著作権表示と許諾表示をソースコード内に保持する必要があります。

参考習得基準の確認:
- 次元 1: 分岐ノードに対する $\sum \frac{\partial L}{\partial y_j} \frac{\partial y_j}{\partial x}$ の完全な解析的導出。
- 次元 2: 外部の autodiff ライブラリに依存せず、すべての単元テストに合格するスカラーエンジンの自作。
- 次元 3: $\text{rtol} \le 10^{-3}$ の有限差分検査により、人為的に注入された上書き欠陥を正常に検出できること。