Day 13: テキストとデータの学習プロジェクト

妥当な解法は、トークンと文字に Counter、Unicode コードポイント数に len(text)、list(range(n)) 上の random.Random(seed)、互いに素なインデックス集合、および source/split ハッシュ、比率、件数、環境、no_leakage_verified を含むマニフェスト項目を用いる。 マニフェストには元バイト列の source_sha256、decoded_text_sha256、input_decoding 方針、normalized_ratios も記録され、入出力パスの衝突は書き込み前に拒否される。

ルート A 参考: analyze_text('a a\n猫🙂') -> total_chars=6, total_tokens=3, vocab_size=2, char_vocab_size=5, token_frequencies={'a':2, '猫🙂':1}, char_frequencies={'a':2,' ':1,'\n':1,'猫':1,'🙂':1}, min_token_length=1, max_token_length=2, avg_token_length=1.3333（厳密な平均 4/3 を小数 4 桁に丸め）, char_distribution={'alphabetic':3,'digits':0,'whitespace':2,'punctuation':0,'other':1}。空入力 -> 数値統計（件数、語彙サイズ、min/max_token_length、avg_token_length=0.0）は 0、token_frequencies と char_frequencies は空の辞書 {}、char_distribution は 5 つのキー alphabetic・digits・whitespace・punctuation・other を保ち、各値は 0。
ルート B 参考: シード 7 -> 3, 1, 1 レコード。各元インデックスがちょうど 1 回割り当てられ、対ごとのインデックス交差は 0。等しいテキスト値はインデックスの互いに素を無効にしないが、重複排除方針は明記する。非有限または範囲外の比率は割当前に拒否される。
評価される試行は、独自の新しい無支援入力と予測結果を使う。これらの正準例は公開の参考であり、隠れた評価ではない。

ファイル欠落、strict での不正入力、不正な比率合計は診断付きで非ゼロを返す。replace は成功する。空入力は有効なゼロ統計を生成する。同一シードは、同一の元入力バイト列・比率・デコード/改行方針・実装/ランタイム/プラットフォームの下でのみ分割ファイルのバイト列を再現する（manifest の created_at は変わる。セマンティックな来歴を比較し、manifest バイト列は比較しない）。リークはインデックスで検査される。 生成アーティファクト名と衝突する入力パスは書き込み前に拒否され、ソースはバイト単位で無変更のまま残る。非有限・範囲外の比率も拒否される。

マニフェストはデータ同一性と分割メンバーシップを後の実験で監査可能にするが、分布シフト、重複コンテンツのリーク、エンコーディング/トークン化の選択、環境差を除去しない。プロジェクトはソーステキストの複写ではなくリンク/帰属を用いる。