第 27 日：情報理論：エントロピー・交差エントロピーと言語モデル損失

ビット：$0.5\to1$、$0.25\to2$、$0.125\to3$、$0.8\to0.3219$、$0.1\to3.3219$。ナット：$0.6931, 1.3863, 2.0794, 0.2231, 2.3026$。$2$ ビット $=1.3863$ ナット。$p$ が小さいほどサプライザルは大きく、ありえないトークンほど損失が約 10 倍かかる。過信した誤予測を強く罰する非対称性である。

(a) $H = 0.5+0.5+0.375+0.375 = 1.75$ ビット（$\approx1.2130$ ナット）。(b) $H = \log_2 6 \approx 2.5850$ ビット。(c) サイコロの方が不確か。エントロピーは確率だけを使うので、結果のラベルを付け替えても変わらない。

(a) $H(p,q)=2$ ビット、よって $D_{KL}(p\|q)=2-1.75=0.25$ ビット。(b) $D_{KL}(p\|q)\approx0.0294$ ビット 対 $D_{KL}(q\|p)\approx0.0290$ ビット：等しくない——KL は非対称で向きが重要。(c) NLL は $0.2231, 0.6931, 1.3863$ ナット、平均 $\approx0.7675$ ナット、パープレキシティ $e^{0.7675}\approx2.1544$。(d) 確率 0 の観測が 1 つあると損失は $+\infty$ に発散。$q\ge\varepsilon$ のクリッピングで被害を抑え（例：$-\ln 10^{-9}\approx20.72$ ナット）、上流では平滑化がゼロを防ぐ。

(a) $H(p)\approx1.8464$ ビット。(b) $H(p,q)=2$ ビット、$D_{KL}=2-1.8464\approx0.1536$ ビット。(c) 平均 NLL $=(0.6931+0.9163+2.3026)/3=1.3040$ ナット、パープレキシティ $e^{1.3040}\approx3.6840$。(d) $-\ln 0=\infty$ なので不運なトークン 1 つでコーパス全体の損失が発散する。加算 1 平滑化または $\varepsilon$ の床が字面のゼロを除く。

提出保存後の数値セルフチェック（2回目の無支援提出を保存した後にのみ実施）：

下の None プレースホルダー 8 個は、保存済みの2回目の無支援提出にある値だけで置き換える。値は通常の数値として入力し、順序は (a) エントロピー（ビット）、(b) 交差エントロピー（ビット）、KL（ビット）、(c) トークンごとの NLL 3 個（ナット、設問のトークン順）、平均 NLL（ナット）、パープレキシティ（単位なし）。数値は小数第4位までとし、絶対許容誤差は 0.00005（小数第4位の半単位）。チェッカーは (a)、(b)、(c) の合否のみを返し、(d) は採点せず、全体得点・習得判定・認定も出さない。

(d) は試行後の別個の手動ルーブリックとする：観測トークンの q=0 では平均 NLL が無限大になること、正の確率を割り当てる具体的対策、その対策が採点分布を変えることを述べる。意味内容の自動採点や英語キーワード判定は行わない。時間管理、保存、無支援での実施、意図的なチェッカーの早期実行はポリシー上の要件に限られ、UI に隠れた強制機能はない。

import math

def verify(submission):
    failed = {'(a)': 'fail', '(b)': 'fail', '(c)': 'fail'}
    if (type(submission) is not dict
            or any(type(key) is not str for key in submission)
            or set(submission) != {'a', 'b', 'c'}):
        return failed
    p = (0.55, 0.20, 0.15, 0.10)
    q = (1 / len(p),) * len(p)
    scores = (0.25, 0.5, 0.2)
    entropy = -math.fsum(pi * math.log2(pi) for pi in p)
    cross_entropy = -math.fsum(pi * math.log2(qi) for pi, qi in zip(p, q))
    kl = math.fsum(pi * math.log2(pi / qi) for pi, qi in zip(p, q))
    nll = tuple(-math.log(score) for score in scores)
    mean_nll = math.fsum(nll) / len(nll)
    targets = {'a': (entropy,), 'b': (cross_entropy, kl),
               'c': nll + (mean_nll, math.exp(mean_nll))}
    def matches(values, expected):
        if type(values) not in (list, tuple) or len(values) != len(expected):
            return False
        for value, target in zip(values, expected):
            if type(value) not in (int, float):
                return False
            try:
                if (not math.isfinite(value) or value < 0
                        or abs(value - target) > 0.00005):
                    return False
            except OverflowError:
                return False
        return True
    return {'(' + part + ')': 'pass' if matches(submission[part], targets[part])
            else 'fail' for part in ('a', 'b', 'c')}

関数定義の後、保存済み提出だけを使ってプレースホルダーを置き換え、submission={'a':[None], 'b':[None,None], 'c':[None,None,None,None,None]} と print(verify(submission)) を実行する。