15 / 90

学习日 15：复现、评估并交接文本项目

完整运行真实项目，使用留出行为检查，并记录可复用的确定性数据准备。

自主学习与 Python 480 分钟主动学习时间（不含休息与无人值守运行）
01 120 分钟

复现完整项目

只有在带有命令、权限和输出复核的情况下，才允许智能体协助执行。

先决条件

第 13–14 天和一个干净的临时环境。

学习目标

从无关的工作目录运行真实的 text_tools CLI，重新生成统计、词表、分割和清单产物。

操作说明

必做：对 names.txt 或已记录的本地语料库运行 stats 和 split 命令，记录版本/种子，并比较输出。选做：再运行第二个语料库。

练习与预测

在执行前预测产物名称、分割计数和清单字段。解释哪个时间戳字段使清单无法逐字节一致，而分割文件仍可复现。

Learning Project Submission & Evidence

0 / 4096 字节
Declared Assistance Condition

Current Submitted Evidence Details

No submission recorded yet.
独立掌握标准

学习者能够复现公开命令，并能根据进程隔离的运行解释观察到的产物。

来源资源与出处

original_explanation Apache-2.0 AND CC-BY-SA-4.0 share-alike

Text and Data Tools Learning Project

作者 / 机构: Curriculum team (delivered in Ticket 16) | 原始出处链接 ↗

对应章节 / 时间戳: cli.py --stats/--split output artifacts: train.txt, val.txt, test.txt, stats.json, vocab.json, manifest.json

验证版本与日期: Verified against the checked-in implementation on 2026-10-30

入选理由:

Reproduction must target the actual project and its real artifact names so later tokenizer and model experiments can consume the same outputs.

来源前置条件:

Days 13–14 evidence: CLI usage and disposable Git workflows

安全回退方案（离线弹性）:

A clean temporary corpus and output directory reproduce all artifacts offline.

对比候选资源与选型分析 (2)
Names corpus (Karpathy makemore names.txt) ↗ compared_alternative [MIT]

A natural example corpus for the reproduction run; any documented local corpus also works, so it is not a required download.

tinyshakespeare corpus (karpathy/char-rnn) ↗ compared_alternative [MIT]

Another natural local corpus for reproduction; any documented corpus satisfies the exercise.

02 120 分钟

独立留出评估

独立掌握检查：首次运行不允许 AI 或参考实现。

先决条件

全新的留出语料库，且看不到参考答案。

学习目标

用独立样例测试 Unicode、空输入、损坏编码、重复记录、比例校验和可复现性。

操作说明

必做：预测结果，运行 CLI，记录退出码/标准错误/产物，并诚实地把结果分类为通过、失败或不确定。选做：只在理解行为之后添加测试。

练习与预测

解释为什么空文件可以以零值统计成功，为什么严格解码应当失败，以及为什么相同行使仅基于内容的泄漏检查不充分。

独立掌握标准

无协助评估包含期望与观察结果，并区分确定性检查与实质评审。

来源资源与出处

original_explanation Apache-2.0 AND CC-BY-SA-4.0 share-alike

Text and Data Tools Learning Project

作者 / 机构: Curriculum team (delivered in Ticket 16) | 原始出处链接 ↗

对应章节 / 时间戳: CLI edge behavior: empty input, strict/replace decoding, ratio validation, seed determinism

验证版本与日期: Verified against the checked-in implementation on 2026-10-30

入选理由:

Held-out cases are chosen against the real CLI seams (encoding, ratios, seeds) rather than imagined behavior.

来源前置条件:

Completion of day-15-act-01

安全回退方案（离线弹性）:

All held-out inputs are small local files created by the learner in a temporary directory.

对比候选资源与选型分析 (2)
Python unittest/pytest documentation ↗ compared_alternative [PSF License Version 2]

Useful for formalizing cases later, but the evaluation is intentionally run at the CLI boundary first.

Hypothesis property-based testing ↗ compared_alternative [MPL-2.0]

Property-based generation could extend held-out coverage later; manual edge cases keep the evaluation transparent first.

03 120 分钟

数据出处与未来模型复用

智能体协助的工程检查：智能体可以质疑报告，但证据与主张由学习者核实。

先决条件

已完成的留出评估和清单产物。

学习目标

解释确定性数据准备如何成为后续分词器、语言模型和评估实验的契约。

操作说明

必做：追踪 源哈希→有序记录→种子→分割哈希→后续使用者，并说明泄漏或分布漂移仍可能发生的环节。选做：草拟一个分词器输入契约。

练习与预测

为什么后续模型实验应当使用已记录的训练分割和未动的验证/测试分割，而不是在看到指标后重新洗牌？

Learning Project Submission & Evidence

0 / 4096 字节
Declared Assistance Condition

Current Submitted Evidence Details

No submission recorded yet.
独立掌握标准

学习者能给出可追踪的复用解释，包含至少三条假设和三条局限。

来源资源与出处

original_explanation Apache-2.0 AND CC-BY-SA-4.0 share-alike

Text and Data Tools Learning Project

作者 / 机构: Curriculum team (delivered in Ticket 16) | 原始出处链接 ↗

对应章节 / 时间戳: Generated manifest.json provenance fields: source_sha256 → decoded_text_sha256 → total_lines → seed → split_counts → split_sha256 (plus leakage_check); consumer/reuse metadata is not in manifest.json but in project.json reusable_by_projects (makemore, minbpe, nanogpt)

验证版本与日期: Verified against the checked-in implementation on 2026-10-30

入选理由:

The reuse contract is declared by the project's own manifest and project.json, preserving attribution and provenance for later study days.

来源前置条件:

Completion of day-15-act-02

安全回退方案（离线弹性）:

The manifest generated in earlier activities carries all required provenance fields.

对比候选资源与选型分析 (2)
Datasheets for Datasets (Gebru et al.) ↗ compared_alternative [arXiv non-exclusive distribution]

The academic framing of dataset documentation; the project manifest already implements the subset needed for deterministic reuse.

Croissant dataset metadata format (MLCommons) ↗ compared_alternative [Apache-2.0]

Richer dataset-metadata schema; the project manifest already records the needed provenance subset.

04 120 分钟

独立作品集交接

独立最终交接：先保存封存的无协助原件及其证据；之后的文字协助须披露、不计评估，且不能产生或覆盖掌握证据。

先决条件

所有项目、Git 和评估证据均已保留。

学习目标

产出一份 PR 式交接，包含需求、命令、结果、评审意见、假设、局限和未解决的阻塞项。

操作说明

必做：先记录你预测/期望的证据，运行自己的检查以收集真实观察到的证据（自己的检查属于无协助尝试的一部分）；然后在任何文字、参考或 AI 评审之前，把完成的首次无协助报告连同其真实证据一起锁定（提交、注明日期）并保存。只链接本地/一次性证据；声明对外发布和付费算力未获授权。选做：随后可做单独标注“不计评估”的润色，但不得覆盖封存原件；若之后发现实质性缺漏，须做一次新的无协助补救检查。

练习与预测

完整的交接必须让后来的学习者不必信任你的叙述就能重跑项目。列出确切命令、种子、语料库身份、预期输出和已知局限。

独立掌握标准

作品集完整且诚实：封存的无协助原件及真实证据先于任何文字/AI 对照保存，评审者能重跑项目，并区分已测试行为、人工评审和不可用证据。

来源资源与出处

original_explanation Apache-2.0 AND CC-BY-SA-4.0 share-alike

Text and Data Tools Learning Project

作者 / 机构: Curriculum team (delivered in Ticket 16) | 原始出处链接 ↗

对应章节 / 时间戳: project.json license and supported_languages attribution carried into the handoff

验证版本与日期: Verified against the checked-in implementation on 2026-10-30

入选理由:

The handoff must cite the real project, its license, and its reproducible commands so a reviewer can rerun without trusting the narrative.

来源前置条件:

Completion of day-15-act-03

安全回退方案（离线弹性）:

All linked evidence is local or disposable by design; external publication is not required or authorized.

对比候选资源与选型分析 (2)
Choose a License guidance ↗ compared_alternative [CC BY 3.0 (site content) / MIT (site code)]

Helpful for understanding the Apache-2.0 AND CC-BY-SA-4.0 attribution carried in project.json; not required to complete the handoff.

SPDX License List ↗ compared_alternative [spdx.org site copyright (All Rights Reserved footer; list license not verified) / linked reference]

Standard license identifiers behind the project's Apache-2.0 AND CC-BY-SA-4.0 declaration.