第 87 天：綜合專案驗收 —— 評測、證據與評審

01 120 分鐘

固定評測規程與誠實指標

Agent 輔助工程檢查

前置要求

第 86 天的整合執行殼與基準台帳。

學習目標

在任何調校執行之前凍結評測：任務順序、指標定義，以及把模擬結果與真實結果隔離的證據類別（deterministic-fixture 與 live-model-run）。

操作指引

1. 重開 capstone_acceptance.json：任務集、指標與上限現已凍結——事後修改將使評測作廢。
2. 按 live_eval_contract.json 的方式定義逐任務報告：status、steps、retries、終止、報告雜湊；每個 live 欄位標註 evidence_kind=live-model-run，每個 fixture 欄位標註 evidence_kind=deterministic-fixture。
3. 預先宣告比較規則：確定性執行必須與基準台帳一致；已授權的真機執行逐任務與台帳對照，差異如實記錄而非隱藏。
4. 誠實地規劃涵蓋面：至少一個成功任務，加全部畸形請求與失敗任務——絕不只挑好看的例子。
5. 明確處理缺失證據：未執行的任務標 status=not-run，絕不悄悄丟棄。
6. 撰寫 eval_protocol.md：評審者可用以稽核結果表的凍結規則。

自主實作與記錄

撰寫 eval_protocol.md，包含凍結任務清單、指標表、evidence_kind 標註規則與 not-run 策略；然後在執行任何東西之前預測結果表的形狀。

標記為已完成

獨立掌握標準

交付一份規程，使結果、回退與缺失證據都有預定義且可稽核的位置。

權威來源資源與權利證明

linking Open Access / CC BY 4.0

SWE-bench: Can Language Models Resolve Real-World GitHub Issues?

作者 / 機構: Carlos E. Jimenez, John Yang, Alexander Wettig, Shunyu Yao, Kexin Pei, Ofir Press, Karthik R. Narasimhan | 原始出處連結 ↗

對應章節 / 時間戳: Sections 3-5: task construction from merged PRs, FAIL_TO_PASS/PASS_TO_PASS metrics

驗證版本與日期: ICLR 2024 / arXiv:2310.06770v3 (Verified: 2026-10-30)

入選理由:

Defines execution-verified agent evaluation with held-out real tasks; motivates the capstone rule that outcomes are measured by test state transitions, not plausible output.

來源前置條件:

Software testing, issue resolution tasks, and benchmark design.

安全回退方案（離線彈性）:

The capstone's per-task status/steps/termination metrics are defined locally in the evaluation protocol.

對比候選資源與選型分析 (2)

Chen et al.: Evaluating Large Language Models Trained on Code (HumanEval) ↗ compared_alternative [Open Access]

Function-level synthesis tasks; SWE-bench's repository-level issue tasks better match agent evaluation with tool use.

Human-validated subset of SWE-bench; cited as refinement, while the original paper defines the protocol.

linking Open Access / CC BY 4.0

AgentBench: Evaluating LLMs as Agents

作者 / 機構: Xiao Liu, Hao Yu, Hanchen Zhang, Yifan Xu, Xuanyu Lei, Hanyu Lai, Yu Gu, Hangliang Ding, Kaiwen Men, Kejuan Yang, et al. | 原始出處連結 ↗

對應章節 / 時間戳: Section 4.1 Evaluation Setup and Section 4.3 Analysis

驗證版本與日期: ICLR 2024 / arXiv:2308.03688v4 (Verified: 2026-10-30)

入選理由:

Systematic multi-environment agent benchmark; supplies the capstone's fixed-task-set discipline and per-task scoring decomposition used by the acceptance contract.

來源前置條件:

Agent loops, tool use, and benchmark design fundamentals.

安全回退方案（離線彈性）:

The capstone task set is fixed locally in the acceptance contract and does not require downloading the benchmark.

對比候選資源與選型分析 (2)

Zhou et al.: WebArena: A Realistic Web Environment for Building Autonomous Agents ↗ compared_alternative [Open Access]

Deep single-domain web tasks with hosted infrastructure; AgentBench's multi-environment view better fits a general agent evaluation.

Mialon et al.: GAIA: a benchmark for General AI Assistants ↗ compared_alternative [Open Access]

Assistant-level real-world questions; also cited by the capstone for outcome-level task design.

02 120 分鐘

綜合專案證據包組裝

獨立掌握檢查（無 AI 輔助）

前置要求

第 87 天活動 1 的凍結規程；第 85-86 天全部產物。

學習目標

組裝評審者可端對端稽核的脫敏證據包：章程、契約、基準台帳、逐任務結果、失敗日誌、資源核算、出處表與隱私檢查。

操作指引

1. 建立 capstone_evidence/，在 index.md 中列出每個產物及其證明的內容。
2. 附上：charter_review.json、capstone_acceptance.json、baseline_ledger.md、逐任務結果表、fault_drill.json、delivery_log.md。
3. 加入資源核算：每次執行的實際耗時、總步數/重試次數；token 與費用欄位在授權真機執行前保持 null；按預訓練證據計畫註明持續的儲存費用。
4. 建立出處表：模型 id＋授權條款、資料集來源＋雜湊、引用的來源登錄 id、倉庫授權條款（程式碼 Apache-2.0、內容 CC BY-SA 4.0）。
5. 執行隱私檢查：掃描檔案內容中的權杖、金鑰、電子郵件與絕對家目錄路徑，打包前完成脫敏——供應商識別碼只留在私人筆記中，絕不入庫。
6. 驗證：從 index.md 出發的評審者能一跳到達每條主張的證據。

自主實作與記錄

產出 capstone_evidence/index.md 與出處表，至少引用五個參照產物（Agent 專案、LoRA 對比契約、live 評測契約、預訓練證據包、CI 練習執行器），並記錄隱私掃描結果。

標記為已完成

獨立掌握標準

組裝的包中每條主張都能解析到已存證據，出處表與隱私表完整。

權威來源資源與權利證明

linking arXiv non-exclusive license / Open Access

Datasheets for Datasets

作者 / 機構: Timnit Gebru, Jamie Morgenstern, Briana Vecchione, Jennifer Wortman Vaughan, Hanna Wallach, Hal Daumé III, Kate Crawford | 原始出處連結 ↗

對應章節 / 時間戳: Section 3 Questions and Workflow (3.1 Motivation through 3.7 Maintenance)

驗證版本與日期: Communications of the ACM 64(12) / arXiv:1803.09010v8 (Verified: 2026-10-30)

入選理由:

Standard questionnaire for documenting dataset origin, composition, rights, and maintenance; structures the capstone evidence package's data-provenance table.

來源前置條件:

Dataset provenance, splits, and licensing vocabulary.

安全回退方案（離線彈性）:

The provenance table template in the capstone instructions restates the required disclosure fields locally.

對比候選資源與選型分析 (2)

Mitchell et al.: Model Cards for Model Reporting ↗ compared_alternative [Open Access]

Model-side reporting rather than dataset-side; the capstone provenance table cites both.

Bender & Friedman: Data Statements for Natural Language Processing ↗ compared_alternative [CC BY 4.0 (ACL Anthology, 2016 or later)]

NLP-specific demographic disclosure; Datasheets cover the general lifecycle needed for arbitrary capstone data.

linking arXiv non-exclusive license / Open Access

Model Cards for Model Reporting

作者 / 機構: Margaret Mitchell, Simone Wu, Andrew Zaldivar, Parker Barnes, Lucy Vasserman, Ben Hutchinson, Elena Spitzer, Inioluwa Deborah Raji, Timnit Gebru | 原始出處連結 ↗

對應章節 / 時間戳: Section 4 Model Card Sections (4.1-4.9)

驗證版本與日期: FAT* 2019 / arXiv:1810.03993v3 (Verified: 2026-10-30)

入選理由:

Standard framework for disclosing a model's intended use, evaluation conditions, and limitations; supplies the capstone's model-choice and provenance documentation pattern.

來源前置條件:

Basic model evaluation vocabulary: dataset, metric, intended use.

安全回退方案（離線彈性）:

The curriculum provides a local model-decision table template covering intended use, evaluation data, and caveats.

對比候選資源與選型分析 (2)

Gebru et al.: Datasheets for Datasets ↗ compared_alternative [Open Access]

Dataset-side documentation rather than model-side; used alongside Model Cards in the provenance table rather than as a replacement.

Vendor-specific safety disclosure; Model Cards provide the general reusable schema.

03 120 分鐘

事後復盤、失敗分類與受控恢復

Agent 輔助工程檢查

前置要求

第 87 天活動 1-2。

學習目標

撰寫不究責的綜合專案事後復盤：失敗分類法、對未達標準與回退的誠實處理、真機與模擬的範圍區分，以及一次演示過的受控恢復。

操作指引

1. 把觀測到的全部失敗歸入分類法：malformed_tool_request、missing_input、loop、budget_exhausted、provider_or_infra、evaluation_defect。
2. 每類記錄症狀、軌跡指標、根因、修復或已接受的侷限。未達成的驗收標準保持未達成——標記它，不要用敘述掩蓋。
3. 明確宣告真機與模擬範圍：確定性結果證明的是執行殼行為；live 模型欄位在授權前保持 null 且 blocked——不把模擬當真實執行展示。
4. 端對端演示一次受控恢復：破壞一個 fixture，觀測健康檢查失敗，恢復已知良好的產物，用雜湊再驗證；附前後雜湊。
5. 記錄殘餘風險：帳單/儲存的後續跟進、陳舊內容的再驗證、評審者無法覈查之處。
6. 儲存 postmortem.md 並從證據索引連結。

自主實作與記錄

產出 postmortem.md：含六類分類表、一次帶雜湊的實際恢復、明確的未達標準清單（或字面寫 none）、以及殘餘風險段落。

標記為已完成

獨立掌握標準

交付一份失敗均有證據分類、未達標準保持可見、恢復被證明而非聲稱的事後復盤。

權威來源資源與權利證明

linking arXiv non-exclusive license / Open Access

Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena

作者 / 機構: Lianmin Zheng, Wei-Lin Chiang, Ying Sheng, Siyuan Zhuang, Zhanghao Wu, Yonghao Zhuang, Zi Lin, Zhuohan Li, Dacheng Li, Eric P. Xing, et al. | 原始出處連結 ↗

對應章節 / 時間戳: Sections 3-4: judge biases (position, verbosity, self-enhancement), rubric design

驗證版本與日期: NeurIPS 2023 / arXiv:2306.05685v3 (Verified: 2026-10-30)

入選理由:

Documents judge bias and rubric pitfalls; informs the capstone's separate independent/assisted rubrics and its rule that verdicts must cite stored evidence rather than impressions.

來源前置條件:

Evaluation metrics, pairwise comparison, and grading rubrics.

安全回退方案（離線彈性）:

The capstone rubric is a fixed checklist scored against artifacts; it does not depend on the paper's arena data.

對比候選資源與選型分析 (2)

Liang et al.: Holistic Evaluation of Language Models (HELM) ↗ compared_alternative [Open Access / CC BY 4.0]

Broad scenario taxonomy; MT-Bench's judge-bias analysis is more relevant to rubric-based acceptance review.

Dubois et al.: AlpacaEval / AlpacaFarm ↗ compared_alternative [Open Access]

Automatic instruction-following win-rate; MT-Bench better exposes judging bias relevant to human rubric design.

linking CC BY-NC-ND 4.0 noncommercial no-derivatives

Site Reliability Engineering, Chapter 15: Postmortem Culture: Learning from Failure

作者 / 機構: John Lunney and Sue Lueder (ed. Gary O'Connor), in Site Reliability Engineering (eds. Betsy Beyer, Chris Jones, Jennifer Petoff, Niall Richard Murphy; Google) | 原始出處連結 ↗

對應章節 / 時間戳: Chapter 15: blameless postmortems, trigger conditions, action items

驗證版本與日期: O'Reilly 2016 / sre.google online edition (Verified: 2026-10-30)

入選理由:

Establishes the blameless, evidence-first post-mortem format; structures the capstone's failure taxonomy, unmet-criteria disclosure, and recovery proof.

來源前置條件:

Incident vocabulary, monitoring, and delivery pipelines.

安全回退方案（離線彈性）:

The post-mortem template (taxonomy, unmet criteria, recovery evidence, residual risk) is fully specified in the lesson.

對比候選資源與選型分析 (2)

Foundational just-culture essay; the SRE chapter adds the trigger conditions and action-item tracking used by the capstone.

Google SRE Workbook: Postmortem practices ↗ compared_alternative [CC BY-NC-ND 4.0]

Practitioner workbook follow-up; the original chapter is the stable reference for the taxonomy exercise.

04 120 分鐘

考核：雙重評分細則驗收與提交

獨立掌握檢查（無 AI 輔助）

前置要求

第 87 天活動 1-3。

學習目標

用兩套獨立評分細則評定綜合專案——獨立完成部分適用獨立掌握度檢查細則，指揮完成部分適用 Agent 輔助工程檢查細則——然後透過專案提交表單提交證據包。

操作指引

1. 對獨立完成的工作（章程評審門、基準台帳、證據組裝、本次評審）適用獨立細則：按正確性＋證據指標逐項評分。
2. 對指揮完成的工作（整合設計、CI 演練、事後復盤）適用輔助細則：按指揮品質、diff 檢查、糾錯處理評分——絕不只看 Agent 輸出。
3. 覈驗分離規則：獨立掌握度不得由輔助輸出推斷；兩套細則的總分與適用範圍分別記錄。
4. 在下方表單提交：倉庫連結、報告連結，以及概括重跑指令與觀測雜湊的筆記——貼上的日誌屬自我報告證據，表單也如此標註。
5. 區分驗收層級：本學習者專案驗收評定的是你的工作；平台課程就緒門禁（全部 90 天、四個語言版本、平台行為，工單 61）是另一項更晚的驗收——綜合專案通過並不等於宣佈課程就緒。
6. 把最終判定記錄到 capstone_verdict.json。

自主實作與記錄

在下方表單提交綜合專案證據（倉庫連結、報告連結、筆記），然後產出 capstone_verdict.json，包含兩套細則得分、各自適用範圍，以及區分專案驗收與課程就緒的明確宣告。

標記為已完成

學習專案提交與證據

提示：貼上的執行日誌與文字說明屬於自述證據，不自動構成獨立檢查或自動化測試結果。

程式碼倉庫連結 (GitHub / GitLab)

專案報告或實驗文件連結 (可選)

證據筆記與診斷記錄 (最多 4096 位元組)

0 / 4096 位元組

聲明的輔助條件獨立完成 (未借助 AI 輔助) Agent 輔助工程 (借助 AI 工具定向完成)

註：無 AI 輔助屬於誠實聲明條件，而非平台監控。

Agent 工具路線 (若適用)

目前提交的證據詳情

暫無提交記錄。

獨立掌握標準

僅當兩套細則分別按證據評分、提交被誠實記錄、且判定中寫明課程就緒門禁的區別時方可通過。

權威來源資源與權利證明

linking arXiv non-exclusive license / Open Access

GAIA: a benchmark for General AI Assistants

作者 / 機構: Gregoire Mialon, Clementine Fourrier, Craig Swift, Thomas Wolf, Yann LeCun, Thomas Scialom | 原始出處連結 ↗

對應章節 / 時間戳: Sections 3-4: level design, tooling requirements, human vs agent gap

驗證版本與日期: arXiv:2311.12983v3 (Verified: 2026-10-30)

入選理由:

Defines graded assistant tasks with unambiguous factual scoring; motivates the capstone's distinction between success tasks, malformed-request handling, and failure cases.

來源前置條件:

Agent capabilities, tool use, and evaluation metrics.

安全回退方案（離線彈性）:

The capstone evaluation tasks are defined in the local acceptance contract and need no external download.

對比候選資源與選型分析 (2)

Liu et al.: AgentBench: Evaluating LLMs as Agents ↗ compared_alternative [Open Access / CC BY 4.0]

Multi-environment execution benchmark; GAIA adds graded real-world assistance tasks, and both inform the fixed task taxonomy.

Zhou et al.: WebArena ↗ compared_alternative [Open Access]

Web-only task environment; GAIA covers general assistant capability beyond browsing.

linking arXiv non-exclusive license / Open Access

Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena

作者 / 機構: Lianmin Zheng, Wei-Lin Chiang, Ying Sheng, Siyuan Zhuang, Zhanghao Wu, Yonghao Zhuang, Zi Lin, Zhuohan Li, Dacheng Li, Eric P. Xing, et al. | 原始出處連結 ↗

對應章節 / 時間戳: Sections 3-4: judge biases (position, verbosity, self-enhancement), rubric design

驗證版本與日期: NeurIPS 2023 / arXiv:2306.05685v3 (Verified: 2026-10-30)

入選理由:

Documents judge bias and rubric pitfalls; informs the capstone's separate independent/assisted rubrics and its rule that verdicts must cite stored evidence rather than impressions.

來源前置條件:

Evaluation metrics, pairwise comparison, and grading rubrics.

安全回退方案（離線彈性）:

The capstone rubric is a fixed checklist scored against artifacts; it does not depend on the paper's arena data.

對比候選資源與選型分析 (2)

Liang et al.: Holistic Evaluation of Language Models (HELM) ↗ compared_alternative [Open Access / CC BY 4.0]

Broad scenario taxonomy; MT-Bench's judge-bias analysis is more relevant to rubric-based acceptance review.

Dubois et al.: AlpacaEval / AlpacaFarm ↗ compared_alternative [Open Access]

Automatic instruction-following win-rate; MT-Bench better exposes judging bias relevant to human rubric design.