第 27 天：資訊理論：熵、交叉熵與語言模型損失

位元：$0.5\to1$、$0.25\to2$、$0.125\to3$、$0.8\to0.3219$、$0.1\to3.3219$。奈特：$0.6931, 1.3863, 2.0794, 0.2231, 2.3026$。$2$ 位元 $=1.3863$ 奈特。$p$ 越小驚異度越大，故低機率詞元的損失約為高機率詞元的十倍——這正是懲罰自信錯誤預測的不對稱性。

(a) $H = 0.5+0.5+0.375+0.375 = 1.75$ 位元（$\approx1.2130$ 奈特）。(b) $H = \log_2 6 \approx 2.5850$ 位元。(c) 骰子更不確定；熵只用機率，故給結果換標籤不會改變熵。

(a) $H(p,q)=2$ 位元，故 $D_{KL}(p\|q)=2-1.75=0.25$ 位元。(b) $D_{KL}(p\|q)\approx0.0294$ 位元 對 $D_{KL}(q\|p)\approx0.0290$ 位元：不相等——KL 非對稱，方向重要。(c) NLL 為 $0.2231, 0.6931, 1.3863$ 奈特，均值 $\approx0.7675$ 奈特，困惑度 $e^{0.7675}\approx2.1544$。(d) 一個零機率觀察使損失發散到 $+\infty$；裁剪 $q\ge\varepsilon$ 可限制損害（如 $-\ln 10^{-9}\approx20.72$ 奈特），平滑化在源頭防止零機率。

(a) $H(p)\approx1.8464$ 位元。(b) $H(p,q)=2$ 位元；$D_{KL}=2-1.8464\approx0.1536$ 位元。(c) 平均 NLL $=(0.6931+0.9163+2.3026)/3=1.3040$ 奈特；困惑度 $e^{1.3040}\approx3.6840$。(d) $-\ln 0=\infty$，故一個不幸詞元就讓整個語料損失發散；加 1 平滑或 $\varepsilon$ 下限可消除字面零。

作答後的數值自我檢查（僅在保存第二次無協助提交後進行）：

以下八個 None 佔位符只能替換為已保存的第二次無協助提交中的一般數值。依此順序輸入：(a) 熵（位元）；(b) 交叉熵（位元）、KL（位元）；(c) 依題目詞元順序排列的三個逐詞元 NLL（奈特）、平均 NLL（奈特）、困惑度（無單位）。輸入一般數值並保留小數點後四位；絕對容差為 0.00005（小數點後四位的半個單位）。檢查器僅對 (a)、(b)、(c) 回報通過／未通過；不評閱 (d)，也不產生總分、掌握判斷或認證。

(d) 維持為作答後的獨立人工評分標準：說明觀察到 q=0 會使平均 NLL 為無窮大；指出一個會分配正機率的具體防護措施；並說明該措施會改變評分分佈。不進行自動語義評分，也不設置英文關鍵字門檻。計時、保存、無協助行為以及故意提前執行檢查器都只是政策要求；介面沒有隱藏的強制執行。

import math

def verify(submission):
    failed = {'(a)': 'fail', '(b)': 'fail', '(c)': 'fail'}
    if (type(submission) is not dict
            or any(type(key) is not str for key in submission)
            or set(submission) != {'a', 'b', 'c'}):
        return failed
    p = (0.55, 0.20, 0.15, 0.10)
    q = (1 / len(p),) * len(p)
    scores = (0.25, 0.5, 0.2)
    entropy = -math.fsum(pi * math.log2(pi) for pi in p)
    cross_entropy = -math.fsum(pi * math.log2(qi) for pi, qi in zip(p, q))
    kl = math.fsum(pi * math.log2(pi / qi) for pi, qi in zip(p, q))
    nll = tuple(-math.log(score) for score in scores)
    mean_nll = math.fsum(nll) / len(nll)
    targets = {'a': (entropy,), 'b': (cross_entropy, kl),
               'c': nll + (mean_nll, math.exp(mean_nll))}
    def matches(values, expected):
        if type(values) not in (list, tuple) or len(values) != len(expected):
            return False
        for value, target in zip(values, expected):
            if type(value) not in (int, float):
                return False
            try:
                if (not math.isfinite(value) or value < 0
                        or abs(value - target) > 0.00005):
                    return False
            except OverflowError:
                return False
        return True
    return {'(' + part + ')': 'pass' if matches(submission[part], targets[part])
            else 'fail' for part in ('a', 'b', 'c')}

函式定義後，僅使用已保存提交替換佔位符，然後執行 submission={'a':[None], 'b':[None,None], 'c':[None,None,None,None,None]} 與 print(verify(submission))。