重現完整專案
只有在帶有命令、權限和輸出複核的情況下,才允許代理協助執行。
先決條件
第 13–14 天和一個乾淨的暫時環境。
學習目標
從無關的工作目錄執行真實的 text_tools CLI,重新產生統計、詞彙、分割和清單產物。
操作說明
必做:對 names.txt 或已記錄的本地語料庫執行 stats 和 split 命令,記錄版本/種子,並比較輸出。選做:再執行第二個語料庫。
練習與預測
在執行前預測產物名稱、分割計數和清單欄位。解釋哪個時間戳記欄位使清單無法逐位元組一致,而分割檔案仍可重現。
比較 train/val/test 的位元組和清單的語義欄位;不要把 created_at 誤認為模型資料發生了變化。
一次乾淨的執行會產生 train.txt、val.txt、test.txt、stats.json、vocab.json 和 manifest.json。相同種子僅在相同原始輸入位元組、比例、解碼/換行策略及同一實作/執行環境/平台下重現分割檔案位元組(manifest 的 created_at 會變化,故比較語義來歷而非 manifest 位元組);來源雜湊、計數、比例、環境和洩漏證據仍可稽核。
Learning Project Submission & Evidence
學習者能夠重現公開命令,並能根據程序隔離的執行解釋觀察到的產物。
來源資源與出處
Text and Data Tools Learning Project
對應章節 / 時間戳: cli.py --stats/--split output artifacts: train.txt, val.txt, test.txt, stats.json, vocab.json, manifest.json
驗證版本與日期: Verified against the checked-in implementation on 2026-10-30
Reproduction must target the actual project and its real artifact names so later tokenizer and model experiments can consume the same outputs.
Days 13–14 evidence: CLI usage and disposable Git workflows
A clean temporary corpus and output directory reproduce all artifacts offline.
對比候選資源與選型分析 (2)
A natural example corpus for the reproduction run; any documented local corpus also works, so it is not a required download.
Another natural local corpus for reproduction; any documented corpus satisfies the exercise.