第87日: キャップストーン適合確認 - 評価・証拠・レビュー

01 120 分

固定評価プロトコルと正直な指標

Agent支援エンジニアリングチェック

前提条件

第86日の統合ハーネスとベースライン台帳。

学習目標

チューニング実行の前に評価を凍結します：タスク順・指標定義・証拠種別 (deterministic-fixture 対 live-model-run) により、模擬結果と実結果の混在を防ぎます。

手順

1. capstone_acceptance.json を再確認します：タスク集合・指標・上限は凍結済み。事後編集は評価を無効にします。
2. live_eval_contract.json と同じ形でタスク別報告を定義します： status・steps・retries・終了・レポートハッシュ。live 欄はすべて evidence_kind=live-model-run、フィクスチャ欄は evidence_kind=deterministic-fixture と標識。
3. 比較規則を事前宣言します：決定論的実行はベースライン台帳と一致すること。認可済み live 実行はタスクごとに台帳と比較し、差分は隠さず記録します。
4. カバレッジを正直に計画します：成功タスク1件以上に加え、すべての不正要求タスクと失敗タスク。見栄えの良い例だけではだめです。
5. 欠落証拠を明示的に扱います：未実行タスクは status=not-run であり、黙って削除しません。
6. eval_protocol.md を書きます：レビュアーが結果表と照合できる凍結済み規則。

演習と予測記録

凍結タスク一覧・指標表・evidence_kind 標識規則・not-run 方針を含む eval_protocol.md を作成し、何も実行する前に結果表の形を予測してください。

完了としてマーク

独立習得基準

結果・退行・欠落証拠のすべてに事前定義された監査可能な枠があるプロトコルを提出できること。

公式ソースリソースと権利証跡

linking Open Access / CC BY 4.0

SWE-bench: Can Language Models Resolve Real-World GitHub Issues?

著者・提供機関: Carlos E. Jimenez, John Yang, Alexander Wettig, Shunyu Yao, Kexin Pei, Ofir Press, Karthik R. Narasimhan | オリジナル出所URL ↗

該当セクション・タイムスタンプ: Sections 3-5: task construction from merged PRs, FAIL_TO_PASS/PASS_TO_PASS metrics

検証バージョンと日付: ICLR 2024 / arXiv:2310.06770v3 (Verified: 2026-10-30)

選定理由:

Defines execution-verified agent evaluation with held-out real tasks; motivates the capstone rule that outcomes are measured by test state transitions, not plausible output.

ソース前提知識:

Software testing, issue resolution tasks, and benchmark design.

安全フォールバック（オフライン回復性）:

The capstone's per-task status/steps/termination metrics are defined locally in the evaluation protocol.

比較対象候補リソースと選定評価 (2)

Chen et al.: Evaluating Large Language Models Trained on Code (HumanEval) ↗ compared_alternative [Open Access]

Function-level synthesis tasks; SWE-bench's repository-level issue tasks better match agent evaluation with tool use.

Human-validated subset of SWE-bench; cited as refinement, while the original paper defines the protocol.

linking Open Access / CC BY 4.0

AgentBench: Evaluating LLMs as Agents

著者・提供機関: Xiao Liu, Hao Yu, Hanchen Zhang, Yifan Xu, Xuanyu Lei, Hanyu Lai, Yu Gu, Hangliang Ding, Kaiwen Men, Kejuan Yang, et al. | オリジナル出所URL ↗

該当セクション・タイムスタンプ: Section 4.1 Evaluation Setup and Section 4.3 Analysis

検証バージョンと日付: ICLR 2024 / arXiv:2308.03688v4 (Verified: 2026-10-30)

選定理由:

Systematic multi-environment agent benchmark; supplies the capstone's fixed-task-set discipline and per-task scoring decomposition used by the acceptance contract.

ソース前提知識:

Agent loops, tool use, and benchmark design fundamentals.

安全フォールバック（オフライン回復性）:

The capstone task set is fixed locally in the acceptance contract and does not require downloading the benchmark.

比較対象候補リソースと選定評価 (2)

Zhou et al.: WebArena: A Realistic Web Environment for Building Autonomous Agents ↗ compared_alternative [Open Access]

Deep single-domain web tasks with hosted infrastructure; AgentBench's multi-environment view better fits a general agent evaluation.

Mialon et al.: GAIA: a benchmark for General AI Assistants ↗ compared_alternative [Open Access]

Assistant-level real-world questions; also cited by the capstone for outcome-level task design.

02 120 分

キャップストーン証拠パッケージの組立

独立習得チェック（AI 支援なし）

前提条件

第87日アクティビティ1の凍結プロトコル。第85〜86日の全成果物。

学習目標

レビュアーが端から端まで監査できる無害化済み証拠パッケージを組み立てます：憲章・契約・ベースライン台帳・タスク別結果・失敗ログ・リソース会計・来歴表・プライバシー確認。

手順

1. capstone_evidence/ を作成し、index.md にすべての成果物とそれが証明するものを一覧化します。
2. 添付します： charter_review.json、capstone_acceptance.json、baseline_ledger.md、タスク別結果表、fault_drill.json、delivery_log.md。
3. リソース会計を追加します：実行ごとの壁時計時間・合計ステップ/リトライ数・トークン/費用欄は認可済み live 実行まで null。事前学習証拠計画に基づき継続的ストレージ料金を記録。
4. 来歴表を作ります：モデル id＋ライセンス・データセット由来＋ハッシュ・引用したソース登録 id・リポジトリライセンス (コード Apache-2.0 / コンテンツ CC BY-SA 4.0)。
5. プライバシー確認を実行します：トークン・鍵・メールアドレス・絶対ホームパスをファイル内容から走査し、パッケージ化前に編集。プロバイダ識別子は私的メモに留め、リポジトリには入れません。
6. 検証します： index.md から始めたレビュアーが、すべての主張の証拠へ1ホップで到達できること。

演習と予測記録

capstone_evidence/index.md と、少なくとも5つの参照成果物 (エージェントプロジェクト・LoRA 比較契約・live 評価契約・事前学習証拠パッケージ・CI 練習ランナー) を引用する来歴表を作成し、プライバシー走査結果を記録してください。

完了としてマーク

独立習得基準

すべての主張が保存済み証拠に解決し、来歴表とプライバシー表が完全なパッケージを組み立てられること。

公式ソースリソースと権利証跡

linking arXiv non-exclusive license / Open Access

Datasheets for Datasets

著者・提供機関: Timnit Gebru, Jamie Morgenstern, Briana Vecchione, Jennifer Wortman Vaughan, Hanna Wallach, Hal Daumé III, Kate Crawford | オリジナル出所URL ↗

該当セクション・タイムスタンプ: Section 3 Questions and Workflow (3.1 Motivation through 3.7 Maintenance)

検証バージョンと日付: Communications of the ACM 64(12) / arXiv:1803.09010v8 (Verified: 2026-10-30)

選定理由:

Standard questionnaire for documenting dataset origin, composition, rights, and maintenance; structures the capstone evidence package's data-provenance table.

ソース前提知識:

Dataset provenance, splits, and licensing vocabulary.

安全フォールバック（オフライン回復性）:

The provenance table template in the capstone instructions restates the required disclosure fields locally.

比較対象候補リソースと選定評価 (2)

Mitchell et al.: Model Cards for Model Reporting ↗ compared_alternative [Open Access]

Model-side reporting rather than dataset-side; the capstone provenance table cites both.

Bender & Friedman: Data Statements for Natural Language Processing ↗ compared_alternative [CC BY 4.0 (ACL Anthology, 2016 or later)]

NLP-specific demographic disclosure; Datasheets cover the general lifecycle needed for arbitrary capstone data.

linking arXiv non-exclusive license / Open Access

Model Cards for Model Reporting

著者・提供機関: Margaret Mitchell, Simone Wu, Andrew Zaldivar, Parker Barnes, Lucy Vasserman, Ben Hutchinson, Elena Spitzer, Inioluwa Deborah Raji, Timnit Gebru | オリジナル出所URL ↗

該当セクション・タイムスタンプ: Section 4 Model Card Sections (4.1-4.9)

検証バージョンと日付: FAT* 2019 / arXiv:1810.03993v3 (Verified: 2026-10-30)

選定理由:

Standard framework for disclosing a model's intended use, evaluation conditions, and limitations; supplies the capstone's model-choice and provenance documentation pattern.

ソース前提知識:

Basic model evaluation vocabulary: dataset, metric, intended use.

安全フォールバック（オフライン回復性）:

The curriculum provides a local model-decision table template covering intended use, evaluation data, and caveats.

比較対象候補リソースと選定評価 (2)

Gebru et al.: Datasheets for Datasets ↗ compared_alternative [Open Access]

Dataset-side documentation rather than model-side; used alongside Model Cards in the provenance table rather than as a replacement.

Vendor-specific safety disclosure; Model Cards provide the general reusable schema.

03 120 分

事後検証・失敗分類・管理回復

Agent支援エンジニアリングチェック

前提条件

第87日アクティビティ1〜2。

学習目標

非難のないキャップストーン事後検証を書きます：失敗分類、未達基準と退行の正直な扱い、live 対模擬の範囲明示、および実演された管理回復。

手順

1. 観測した全失敗を分類に整理します： malformed_tool_request、missing_input、loop、budget_exhausted、provider_or_infra、evaluation_defect。
2. 各分類に症状・トレースポインタ・根本原因・修正または受理済み制限を記録。未達の適合基準は未達のまま標識し、物語で覆いません。
3. live 対模擬の範囲を明示します：決定論的結果が証明するのはハーネス挙動。live モデル欄は認可まで null で blocked のまま。模擬を実実行として提示しません。
4. 管理回復を端から端まで実演します：フィクスチャを壊し、ヘルス検査の失敗を観測し、既知の正常成果物を復元し、ハッシュで再検証。前後のハッシュを添付。
5. 残存リスクを記録します：請求/ストレージの追跡、陳腐化した内容の再検証、レビュアーが確認できなかった点。
6. postmortem.md を保存し、証拠索引からリンクします。

演習と予測記録

6分類の分類表・ハッシュ付き実施回復1件・明示的な未達基準一覧 (または「none」)・残存リスク段落を含む postmortem.md を作成してください。

完了としてマーク

独立習得基準

失敗が証拠付きで分類され、未達基準が可視のまま残り、回復が主張ではなく証明された事後検証を提出できること。

公式ソースリソースと権利証跡

linking arXiv non-exclusive license / Open Access

Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena

著者・提供機関: Lianmin Zheng, Wei-Lin Chiang, Ying Sheng, Siyuan Zhuang, Zhanghao Wu, Yonghao Zhuang, Zi Lin, Zhuohan Li, Dacheng Li, Eric P. Xing, et al. | オリジナル出所URL ↗

該当セクション・タイムスタンプ: Sections 3-4: judge biases (position, verbosity, self-enhancement), rubric design

検証バージョンと日付: NeurIPS 2023 / arXiv:2306.05685v3 (Verified: 2026-10-30)

選定理由:

Documents judge bias and rubric pitfalls; informs the capstone's separate independent/assisted rubrics and its rule that verdicts must cite stored evidence rather than impressions.

ソース前提知識:

Evaluation metrics, pairwise comparison, and grading rubrics.

安全フォールバック（オフライン回復性）:

The capstone rubric is a fixed checklist scored against artifacts; it does not depend on the paper's arena data.

比較対象候補リソースと選定評価 (2)

Liang et al.: Holistic Evaluation of Language Models (HELM) ↗ compared_alternative [Open Access / CC BY 4.0]

Broad scenario taxonomy; MT-Bench's judge-bias analysis is more relevant to rubric-based acceptance review.

Dubois et al.: AlpacaEval / AlpacaFarm ↗ compared_alternative [Open Access]

Automatic instruction-following win-rate; MT-Bench better exposes judging bias relevant to human rubric design.

linking CC BY-NC-ND 4.0 noncommercial no-derivatives

Site Reliability Engineering, Chapter 15: Postmortem Culture: Learning from Failure

著者・提供機関: John Lunney and Sue Lueder (ed. Gary O'Connor), in Site Reliability Engineering (eds. Betsy Beyer, Chris Jones, Jennifer Petoff, Niall Richard Murphy; Google) | オリジナル出所URL ↗

該当セクション・タイムスタンプ: Chapter 15: blameless postmortems, trigger conditions, action items

検証バージョンと日付: O'Reilly 2016 / sre.google online edition (Verified: 2026-10-30)

選定理由:

Establishes the blameless, evidence-first post-mortem format; structures the capstone's failure taxonomy, unmet-criteria disclosure, and recovery proof.

ソース前提知識:

Incident vocabulary, monitoring, and delivery pipelines.

安全フォールバック（オフライン回復性）:

The post-mortem template (taxonomy, unmet criteria, recovery evidence, residual risk) is fully specified in the lesson.

比較対象候補リソースと選定評価 (2)

Foundational just-culture essay; the SRE chapter adds the trigger conditions and action-item tracking used by the capstone.

Google SRE Workbook: Postmortem practices ↗ compared_alternative [CC BY-NC-ND 4.0]

Practitioner workbook follow-up; the original chapter is the stable reference for the taxonomy exercise.

04 120 分

評価：二重ルーブリック適合と提出

独立習得チェック（AI 支援なし）

前提条件

第87日アクティビティ1〜3。

学習目標

2つの独立したルーブリックでキャップストーンを審査します。独力で行った作業には独立習得確認ルーブリック、指揮した作業には Agent 支援エンジニアリング確認ルーブリックを適用し、その後プロジェクト提出フォームで証拠パッケージを提出します。

手順

1. 独力作業 (憲章ゲート・ベースライン台帳・証拠組立・本レビュー) に独立ルーブリックを適用します：各項目は正確性＋証拠ポインタで採点。
2. 指揮した作業 (統合設計・CI 予行・事後検証) に支援ルーブリックを適用します：指揮の質・差分検査・修正処理で採点し、エージェント出力だけでは採点しません。
3. 分離規則を検証します：独立習得は支援出力から推論されません。両ルーブリックの合計と適用範囲を別々に記録します。
4. 下のフォームで提出します：リポジトリリンク・報告リンク・再実行コマンドと観測ハッシュのメモ。貼付ログは自己申告証拠であり、フォームもそのように標識します。
5. 適合層を区別します：この学習者プロジェクト適合はあなたの作業を採点するもの。プラットフォームのコース準備ゲート (全90日・4言語版・プラットフォーム挙動・チケット61) は別の後続適合です。キャップストーン合格がコース準備完了を宣言しません。
6. 最終判定を capstone_verdict.json に記録します。

演習と予測記録

下のフォームでキャップストーン証拠 (リポジトリリンク・報告リンク・メモ) を提出し、capstone_verdict.json に両ルーブリックの得点・適用範囲・プロジェクト適合とコース準備を分離する明示文を作成してください。

完了としてマーク

学習プロジェクト提出と証拠

注意：貼り付けられた実行ログやメモは自己申告の証拠であり、独立した検証や自動テスト結果を構成するものではありません。

リポジトリリンク (GitHub / GitLab)

プロジェクト報告書またはドキュメントリンク (任意)

証拠メモと診断ログ (最大 4096 バイト)

0 / 4096 バイト

申告された支援条件独立した完成 (AI支援なし) エージェント支援エンジニアリング (AIツールによる指導付き完了)

注：AIなしでの作業は誠実な申告条件であり、監視ではありません。

エージェントツールトラック (該当する場合)

現在提出されている証拠の詳細

提出記録はまだありません。

独立習得基準

両ルーブリックが証拠付きで別々に採点され、提出が正直に記録され、コース準備ゲートとの区別が判定文に明示された場合にのみ合格とします。

公式ソースリソースと権利証跡

linking arXiv non-exclusive license / Open Access

GAIA: a benchmark for General AI Assistants

著者・提供機関: Gregoire Mialon, Clementine Fourrier, Craig Swift, Thomas Wolf, Yann LeCun, Thomas Scialom | オリジナル出所URL ↗

該当セクション・タイムスタンプ: Sections 3-4: level design, tooling requirements, human vs agent gap

検証バージョンと日付: arXiv:2311.12983v3 (Verified: 2026-10-30)

選定理由:

Defines graded assistant tasks with unambiguous factual scoring; motivates the capstone's distinction between success tasks, malformed-request handling, and failure cases.

ソース前提知識:

Agent capabilities, tool use, and evaluation metrics.

安全フォールバック（オフライン回復性）:

The capstone evaluation tasks are defined in the local acceptance contract and need no external download.

比較対象候補リソースと選定評価 (2)

Liu et al.: AgentBench: Evaluating LLMs as Agents ↗ compared_alternative [Open Access / CC BY 4.0]

Multi-environment execution benchmark; GAIA adds graded real-world assistance tasks, and both inform the fixed task taxonomy.

Zhou et al.: WebArena ↗ compared_alternative [Open Access]

Web-only task environment; GAIA covers general assistant capability beyond browsing.

linking arXiv non-exclusive license / Open Access

Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena

著者・提供機関: Lianmin Zheng, Wei-Lin Chiang, Ying Sheng, Siyuan Zhuang, Zhanghao Wu, Yonghao Zhuang, Zi Lin, Zhuohan Li, Dacheng Li, Eric P. Xing, et al. | オリジナル出所URL ↗

該当セクション・タイムスタンプ: Sections 3-4: judge biases (position, verbosity, self-enhancement), rubric design

検証バージョンと日付: NeurIPS 2023 / arXiv:2306.05685v3 (Verified: 2026-10-30)

選定理由:

Documents judge bias and rubric pitfalls; informs the capstone's separate independent/assisted rubrics and its rule that verdicts must cite stored evidence rather than impressions.

ソース前提知識:

Evaluation metrics, pairwise comparison, and grading rubrics.

安全フォールバック（オフライン回復性）:

The capstone rubric is a fixed checklist scored against artifacts; it does not depend on the paper's arena data.

比較対象候補リソースと選定評価 (2)

Liang et al.: Holistic Evaluation of Language Models (HELM) ↗ compared_alternative [Open Access / CC BY 4.0]

Broad scenario taxonomy; MT-Bench's judge-bias analysis is more relevant to rubric-based acceptance review.

Dubois et al.: AlpacaEval / AlpacaFarm ↗ compared_alternative [Open Access]

Automatic instruction-following win-rate; MT-Bench better exposes judging bias relevant to human rubric design.