第 27 天：信息论：熵、交叉熵与语言模型损失

比特：$0.5\to1$、$0.25\to2$、$0.125\to3$、$0.8\to0.3219$、$0.1\to3.3219$。奈特：$0.6931, 1.3863, 2.0794, 0.2231, 2.3026$。$2$ 比特 $=1.3863$ 奈特。$p$ 越小惊异度越大，故低概率词元的损失约为高概率词元的十倍——这正是惩罚自信错误预测的不对称性。

(a) $H = 0.5+0.5+0.375+0.375 = 1.75$ 比特（$\approx1.2130$ 奈特）。(b) $H = \log_2 6 \approx 2.5850$ 比特。(c) 骰子更不确定；熵只用概率，故给结果换标签不会改变熵。

(a) $H(p,q)=2$ 比特，故 $D_{KL}(p\|q)=2-1.75=0.25$ 比特。(b) $D_{KL}(p\|q)\approx0.0294$ 比特 对 $D_{KL}(q\|p)\approx0.0290$ 比特：不相等——KL 非对称，方向重要。(c) NLL 为 $0.2231, 0.6931, 1.3863$ 奈特，均值 $\approx0.7675$ 奈特，困惑度 $e^{0.7675}\approx2.1544$。(d) 一个零概率观察使损失发散到 $+\infty$；裁剪 $q\ge\varepsilon$ 可限制损害（如 $-\ln 10^{-9}\approx20.72$ 奈特），平滑化在源头防止零概率。

(a) $H(p)\approx1.8464$ 比特。(b) $H(p,q)=2$ 比特；$D_{KL}=2-1.8464\approx0.1536$ 比特。(c) 平均 NLL $=(0.6931+0.9163+2.3026)/3=1.3040$ 奈特；困惑度 $e^{1.3040}\approx3.6840$。(d) $-\ln 0=\infty$，故一个不幸词元就让整个语料损失发散；加 1 平滑或 $\varepsilon$ 下限可消除字面零。

作答后的数值自检（仅在保存第二次无协助提交后进行）：

下面八个 None 占位符只能替换为已保存的第二次无协助提交中的普通数值。按此顺序输入：(a) 熵（比特）；(b) 交叉熵（比特）、KL（比特）；(c) 按题目词元顺序排列的三个逐词元 NLL（奈特）、平均 NLL（奈特）、困惑度（无单位）。输入普通数值并保留四位小数；绝对容差为 0.00005（四位小数的半个单位）。检查器仅对 (a)、(b)、(c) 返回通过/未通过；不评阅 (d)，也不产生总分、掌握判断或认证。

(d) 保持为作答后的独立人工评分标准：说明观察到 q=0 会使平均 NLL 为无穷大；指出一个会分配正概率的具体防护措施；并说明该措施会改变评分分布。不进行自动语义评分，也不设置英语关键词门槛。计时、保存、无协助行为以及故意提前运行检查器都只是政策要求；界面没有隐藏的强制执行。

import math

def verify(submission):
    failed = {'(a)': 'fail', '(b)': 'fail', '(c)': 'fail'}
    if (type(submission) is not dict
            or any(type(key) is not str for key in submission)
            or set(submission) != {'a', 'b', 'c'}):
        return failed
    p = (0.55, 0.20, 0.15, 0.10)
    q = (1 / len(p),) * len(p)
    scores = (0.25, 0.5, 0.2)
    entropy = -math.fsum(pi * math.log2(pi) for pi in p)
    cross_entropy = -math.fsum(pi * math.log2(qi) for pi, qi in zip(p, q))
    kl = math.fsum(pi * math.log2(pi / qi) for pi, qi in zip(p, q))
    nll = tuple(-math.log(score) for score in scores)
    mean_nll = math.fsum(nll) / len(nll)
    targets = {'a': (entropy,), 'b': (cross_entropy, kl),
               'c': nll + (mean_nll, math.exp(mean_nll))}
    def matches(values, expected):
        if type(values) not in (list, tuple) or len(values) != len(expected):
            return False
        for value, target in zip(values, expected):
            if type(value) not in (int, float):
                return False
            try:
                if (not math.isfinite(value) or value < 0
                        or abs(value - target) > 0.00005):
                    return False
            except OverflowError:
                return False
        return True
    return {'(' + part + ')': 'pass' if matches(submission[part], targets[part])
            else 'fail' for part in ('a', 'b', 'c')}

函数定义后，仅使用已保存提交替换占位符，然后运行 submission={'a':[None], 'b':[None,None], 'c':[None,None,None,None,None]} 和 print(verify(submission))。