第 34 日：MLP の構造と順伝播

手順

以下の概念分解を読み、計算の前に必ず予測してください。

パーセプトロンは $z = \sum_i w_i x_i + b$ を計算し、$z > 0$ なら $1$、そうでなければ $0$ を出力します。ステップ活性化により入出力写像は区分定数となり、勾配はほぼ至る所で $0$、折れ点では未定義です。したがって勾配ベースの学習では改善できません。微分可能ニューロンはステップを $\tanh$ のような滑らかな活性化に置き換えます。

多層パーセプトロン (MLP) は全結合層を積み重ねます。層 $l$ の各ニューロンは層 $l-1$ のすべての活性化を受け取ります。単一の線形ユニットは直線の決定境界しか引けず XOR を表現できません。非線形活性化を持つ 2 層以上なら可能です。

本日の参照ネットワーク N1：入力 $x=(2.0, -1.0)$。隠れニューロン $h_1$：重み $(0.5, -0.25)$、バイアス $0.1$、$\tanh$。隠れニューロン $h_2$：重み $(-0.5, 1.0)$、バイアス $-0.2$、$\tanh$。出力ニューロン $o$：重み $(1.0, -2.0)$、バイアス $0.3$、線形（活性化なし）。損失 $L = (o - y)^2$、目標 $y = 1.0$。

手順

エンジンに触れる前に、紙または普通の電卓で順伝播を計算してください。ノード名・局所入力・計算値を 1 行ずつ台帳に記入します。

次にエンジンで照合します：

python3 - <<'EOF'
import sys; sys.path.insert(0, '.')
from projects.autograd.engine import Value
x1, x2 = Value(2.0), Value(-1.0)
a1 = (x1*Value(0.5) + x2*Value(-0.25) + Value(0.1)).tanh()
a2 = (x1*Value(-0.5) + x2*Value(1.0) + Value(-0.2)).tanh()
o = a1*Value(1.0) + a2*Value(-2.0) + Value(0.3)
loss = (o - 1.0)**2
print(a1.data, a2.data, o.data, loss.data)
EOF

出力値と台帳を 1 行ずつ比較してください。不一致があればその行の計算が間違っています。最初の相違箇所を特定しましょう。

手順

スクラッチ用ディレクトリに（lessons/ や projects/autograd/ の中ではなく）mlp_scratch.py のような小さなモジュールを次の骨格で作成してください：

from projects.autograd.engine import Value
class Module:
    def parameters(self):
        return []
class Neuron(Module):
    def __init__(self, weights, bias):
        assert len(weights) > 0
        self.w = [Value(w) for w in weights]
        self.b = Value(bias)
    def __call__(self, x):
        assert len(x) == len(self.w), 'input/weight length mismatch'
        z = sum((wi * xi for wi, xi in zip(self.w, x)), self.b)
        return z.tanh()
    def parameters(self):
        return self.w + [self.b]

Layer（同一入力を並列に評価するニューロンのリスト）と MLP（順に適用する層のリスト）に拡張してください。N1 を組み立てる際、出力ニューロンには tanh をスキップするフラグを付けて線形出力にします。第 34 日のサンプルで損失を評価し、loss.backward() を呼んで 9 個すべてのパラメータ勾配を表示してください。

単一ニューロンの参照トレースは次で比較できます：

python3 projects/autograd/cli.py forward-backward --preset neuron --json

手順

以前のアクティビティや AI ツールを参照せず：一般ニューロンの順伝播の式を書き、重みとバイアスは変更せずに新しい入力 $x = (1.0, 1.0)$ に対する N1 の出力を手で計算し、その後に客観クイズを完了してください。提出前に下書き作業を草稿欄に記録してください。