完全なプロジェクトの再現
エージェント支援による実行は、コマンド、権限、出力レビューを伴う場合に限り許可。
前提条件
Day 13〜14 とクリーンな一時環境。
学習目標
無関係な作業ディレクトリから実際の text_tools CLI を実行し、統計、語彙、分割、マニフェストのアーティファクトを再生成する。
手順
必須作業: names.txt または文書化したローカルコーパスに対して stats と split コマンドを実行し、バージョンとシードを記録し、出力を比較する。任意作業: 2 つ目のコーパスを実行する。
演習と予測
実行前にアーティファクト名、分割件数、マニフェスト項目を予測する。分割ファイルが再現可能なまま、どのタイムスタンプ項目がマニフェストのバイト一致を妨げるかを説明する。
train/val/test のバイトとマニフェストの意味的項目を比較し、created_at をモデルデータの変更と誤解しない。
クリーンな実行は train.txt、val.txt、test.txt、stats.json、vocab.json、manifest.json を生成する。同じシードは、同一の元入力バイト列・比率・デコード/改行方針・実装/ランタイム/プラットフォームの下でのみ分割ファイルのバイト列を再現し(manifest の created_at は変わるため、manifest バイト列ではなくセマンティックな来歴を比較する)、ソースハッシュ、件数、比率、環境、リーク証拠は監査可能なまま残る。
Learning Project Submission & Evidence
学習者は公開コマンドを再現し、プロセス分離された実行から観測したアーティファクトを説明できる。
ソースリソースと出所
Text and Data Tools Learning Project
該当セクション・タイムスタンプ: cli.py --stats/--split output artifacts: train.txt, val.txt, test.txt, stats.json, vocab.json, manifest.json
検証バージョンと日付: Verified against the checked-in implementation on 2026-10-30
Reproduction must target the actual project and its real artifact names so later tokenizer and model experiments can consume the same outputs.
Days 13–14 evidence: CLI usage and disposable Git workflows
A clean temporary corpus and output directory reproduce all artifacts offline.
比較対象候補リソースと選定評価 (2)
A natural example corpus for the reproduction run; any documented local corpus also works, so it is not a required download.
Another natural local corpus for reproduction; any documented corpus satisfies the exercise.