第 34 天：MLP 结构与前向传播

操作指引

先阅读下面的概念分解，再先预测后计算。

感知机计算 $z = \sum_i w_i x_i + b$，当 $z > 0$ 时输出 $1$，否则输出 $0$。其阶跃激活使输入-输出映射分段恒定：梯度几乎处处为 $0$，在拐点处无定义，因此基于梯度的训练无法改进它。可微神经元把阶跃换成 $\tanh$ 等光滑激活。

多层感知机 (MLP) 将全连接层堆叠起来：第 $l$ 层的每个神经元都接收第 $l-1$ 层的全部激活。单个线性单元只能画出一条直线决策边界，无法表示 XOR；两层以上加非线性激活则可以。

本日参考网络 N1：输入 $x=(2.0, -1.0)$；隐藏神经元 $h_1$：权重 $(0.5, -0.25)$，偏置 $0.1$，激活 $\tanh$；隐藏神经元 $h_2$：权重 $(-0.5, 1.0)$，偏置 $-0.2$，激活 $\tanh$；输出神经元 $o$：权重 $(1.0, -2.0)$，偏置 $0.3$，线性（无激活）；损失 $L = (o - y)^2$，目标 $y = 1.0$。

操作指引

先在纸上或用普通计算器完成前向传播，再碰引擎。逐节点填写台账：节点名、局部输入、计算值。

然后用引擎核对：

python3 - <<'EOF'
import sys; sys.path.insert(0, '.')
from projects.autograd.engine import Value
x1, x2 = Value(2.0), Value(-1.0)
a1 = (x1*Value(0.5) + x2*Value(-0.25) + Value(0.1)).tanh()
a2 = (x1*Value(-0.5) + x2*Value(1.0) + Value(-0.2)).tanh()
o = a1*Value(1.0) + a2*Value(-2.0) + Value(0.3)
loss = (o - 1.0)**2
print(a1.data, a2.data, o.data, loss.data)
EOF

把打印值与台账逐行比对。任何不一致都意味着对应行算错了——找出第一处分歧。

操作指引

在草稿目录（不要放进 lessons/ 或 projects/autograd/）写一个模块，例如 mlp_scratch.py，骨架如下：

from projects.autograd.engine import Value
class Module:
    def parameters(self):
        return []
class Neuron(Module):
    def __init__(self, weights, bias):
        assert len(weights) > 0
        self.w = [Value(w) for w in weights]
        self.b = Value(bias)
    def __call__(self, x):
        assert len(x) == len(self.w), 'input/weight length mismatch'
        z = sum((wi * xi for wi, xi in zip(self.w, x)), self.b)
        return z.tanh()
    def parameters(self):
        return self.w + [self.b]

再扩展出 Layer（对同一输入并行求值的一组神经元）与 MLP（按顺序串联的一组层）。构造 N1 时给输出神经元一个跳过 tanh 的标志，实现线性输出。对第 34 天样本求损失，调用 loss.backward()，打印全部九个参数梯度。

单神经元参考轨迹可用以下命令对照：

python3 projects/autograd/cli.py forward-backward --preset neuron --json

操作指引

不查阅前面的活动、不使用 AI 工具：写出通用神经元的前向公式；在权重与偏置不变的情况下，手工计算 N1 对新输入 $x = (1.0, 1.0)$ 的输出；然后完成客观测验。提交前请把草稿过程记入下方草稿区。