第 34 天：MLP 結構與前向傳播

操作指引

先閱讀下面的概念分解，再先預測後計算。

感知機計算 $z = \sum_i w_i x_i + b$，當 $z > 0$ 時輸出 $1$，否則輸出 $0$。其階躍激活使輸入-輸出映射分段恆定：梯度幾乎處處為 $0$，在拐點處無定義，因此基於梯度的訓練無法改進它。可微神經元把階躍換成 $\tanh$ 等光滑激活。

多層感知機 (MLP) 將全連接層堆疊起來：第 $l$ 層的每個神經元都接收第 $l-1$ 層的全部激活。單個線性單元只能畫出一條直線決策邊界，無法表示 XOR；兩層以上加非線性激活則可以。

本日參考網路 N1：輸入 $x=(2.0, -1.0)$；隱藏神經元 $h_1$：權重 $(0.5, -0.25)$，偏置 $0.1$，激活 $\tanh$；隱藏神經元 $h_2$：權重 $(-0.5, 1.0)$，偏置 $-0.2$，激活 $\tanh$；輸出神經元 $o$：權重 $(1.0, -2.0)$，偏置 $0.3$，線性（無激活）；損失 $L = (o - y)^2$，目標 $y = 1.0$。

操作指引

先在紙上或用普通計算器完成前向傳播，再碰引擎。逐節點填寫台帳：節點名、局部輸入、計算值。

然後用引擎核對：

python3 - <<'EOF'
import sys; sys.path.insert(0, '.')
from projects.autograd.engine import Value
x1, x2 = Value(2.0), Value(-1.0)
a1 = (x1*Value(0.5) + x2*Value(-0.25) + Value(0.1)).tanh()
a2 = (x1*Value(-0.5) + x2*Value(1.0) + Value(-0.2)).tanh()
o = a1*Value(1.0) + a2*Value(-2.0) + Value(0.3)
loss = (o - 1.0)**2
print(a1.data, a2.data, o.data, loss.data)
EOF

把列印值與台帳逐行比對。任何不一致都意味著對應行算錯了——找出第一處分歧。

操作指引

在草稿目錄（不要放進 lessons/ 或 projects/autograd/）寫一個模組，例如 mlp_scratch.py，骨架如下：

from projects.autograd.engine import Value
class Module:
    def parameters(self):
        return []
class Neuron(Module):
    def __init__(self, weights, bias):
        assert len(weights) > 0
        self.w = [Value(w) for w in weights]
        self.b = Value(bias)
    def __call__(self, x):
        assert len(x) == len(self.w), 'input/weight length mismatch'
        z = sum((wi * xi for wi, xi in zip(self.w, x)), self.b)
        return z.tanh()
    def parameters(self):
        return self.w + [self.b]

再擴展出 Layer（對同一輸入並行求值的一組神經元）與 MLP（按順序串聯的一組層）。構造 N1 時給輸出神經元一個跳過 tanh 的旗標，實作線性輸出。對第 34 天樣本求損失，呼叫 loss.backward()，列印全部九個參數梯度。

單神經元參考軌跡可用以下指令對照：

python3 projects/autograd/cli.py forward-backward --preset neuron --json

操作指引

不查閱前面的活動、不使用 AI 工具：寫出通用神經元的前向公式；在權重與偏置不變的情況下，手工計算 N1 對新輸入 $x = (1.0, 1.0)$ 的輸出；然後完成客觀測驗。提交前請把草稿過程記入下方草稿區。