第85日: キャップストーン憲章 - 問題・範囲・モデル選定

01 120 分

キャップストーン憲章：問題・ユーザー・限定された範囲

Agent支援エンジニアリングチェック

前提条件

第82〜84日の科学的エージェント評価。projects/agent_learning の限定エージェント学習プロジェクトとその4言語ガイド。

学習目標

具体的な問題、明示されたユーザー、明確な範囲境界、非目標を結び付けた1ページのキャップストーン憲章を作成します。新しい無制限システムをキャップストーン内に隠すのではなく、検証済みの限定エージェントを再利用します。

手順

1. projects/agent_learning/README.md と agent.py を再読し、登録済みの限定ツール (list_notes, read_note, write_report) とフィクスチャタスク summarize-notes を列挙します。
2. 問題文を書きます：キャップストーンは検証済みのメモ→レポートエージェントに、ちょうど1つの新しい限定ツール (例： count_words や list_deadlines) と1つの追加固定タスクを加え、既存の独立スコアラーで採点します。
3. ユーザー (学習メモをレポートにまとめる学習者) と利用コンテキスト (ローカル・オフラインファーストの使い捨てフィクスチャ作業領域) を明記します。
4. 範囲の境界線を引きます。範囲内： deterministic アダプタ、登録済み限定ツール、固定フィクスチャ、ステップ/リトライ予算。範囲外：オープンな Web 閲覧、任意のシェル実行、無制限リトライ、本番自律動作。
5. 非目標を宣言します：チケット23の認可ゲートが承認されるまで live モデルの主張はしない。新しいエージェント基盤は作らない。隠れたネットワーク呼出しは行わない。
6. 草案を capstone_charter.md として保存します。

演習と予測記録

Problem・User・In-Scope・Out-of-Scope・Non-Goals の節を持つ capstone_charter.md を作成し、次の3件の機能要求を範囲内/範囲外に分類してください： (a)「フィクスチャの3番目のメモを読む」 (b)「エージェントが任意のパッケージを pip-install できる」 (c)「限定された単語数カウントツールを追加する」。

完了としてマーク

独立習得基準

範囲内項目のすべてが明示された制約に対応し、非目標が少なくとも3つの除外機能 (例： Web閲覧・任意コード実行・無制限リトライ) を明記した憲章を作成できること。

公式ソースリソースと権利証跡

linking Open Access / CC BY 4.0

ReAct: Synergizing Reasoning and Acting in Language Models

著者・提供機関: Shunyu Yao, Jeffrey Zhao, Dian Yu, Nan Du, Izhak Shafran, Karthik Narasimhan, Yuan Cao | オリジナル出所URL ↗

該当セクション・タイムスタンプ: Sections 2-4: interleaved reasoning/action protocol; Figure 1 trace format

検証バージョンと日付: ICLR 2023 / arXiv:2210.03629v3 (Verified: 2026-10-30)

選定理由:

Primary literature for interleaving explicit reasoning steps with bounded tool actions; anchors the capstone's requirement that every step produces an inspectable observation inside a budgeted loop.

ソース前提知識:

Language-model prompting, tool-call loops, and basic action/observation traces.

安全フォールバック（オフライン回復性）:

The curriculum restates the action/observation loop and reimplements a deterministic three-tool agent locally; no paper text is imported.

比較対象候補リソースと選定評価 (2)

Wei et al.: Chain-of-Thought Prompting Elicits Reasoning in Large Language Models ↗ compared_alternative [Open Access / CC BY 4.0]

Pure reasoning traces without tool actions; ReAct adds the observable action/observation protocol that the capstone harness enforces.

Huang et al.: Inner Monologue: Embodied Reasoning through Planning with Language Models ↗ compared_alternative [Open Access]

Embodied closed-loop planning for robotics; ReAct's text-domain tool protocol maps directly onto the capstone's bounded tools.

linking arXiv non-exclusive license / Open Access

Model Cards for Model Reporting

著者・提供機関: Margaret Mitchell, Simone Wu, Andrew Zaldivar, Parker Barnes, Lucy Vasserman, Ben Hutchinson, Elena Spitzer, Inioluwa Deborah Raji, Timnit Gebru | オリジナル出所URL ↗

該当セクション・タイムスタンプ: Section 4 Model Card Sections (4.1-4.9)

検証バージョンと日付: FAT* 2019 / arXiv:1810.03993v3 (Verified: 2026-10-30)

選定理由:

Standard framework for disclosing a model's intended use, evaluation conditions, and limitations; supplies the capstone's model-choice and provenance documentation pattern.

ソース前提知識:

Basic model evaluation vocabulary: dataset, metric, intended use.

安全フォールバック（オフライン回復性）:

The curriculum provides a local model-decision table template covering intended use, evaluation data, and caveats.

比較対象候補リソースと選定評価 (2)

Gebru et al.: Datasheets for Datasets ↗ compared_alternative [Open Access]

Dataset-side documentation rather than model-side; used alongside Model Cards in the provenance table rather than as a replacement.

Vendor-specific safety disclosure; Model Cards provide the general reusable schema.

02 120 分

適合契約：固定タスク・ベースライン・上限

独立習得チェック（AI 支援なし）

前提条件

第85日アクティビティ1の憲章草案。projects/agent_learning/evidence/live_eval_contract.json のチケット23契約スキーマ。

学習目標

憲章を測定可能な適合契約に変換します：固定タスク集合、決定論的ベースラインとそのレポートハッシュ、指標定義、リソース上限、失敗ケース、およびレビュアーが検査する提出証拠を正確に定義します。

手順

1. projects/agent_learning/evidence/live_eval_contract.json のスキーマ形式を真似て capstone_acceptance.json を作成します。
2. タスク集合を固定します： 6つの live-eval タスク分類 (成功、不正ツール要求2件、入力欠落、ループ、予算枯渇) を保持し、憲章の新規固定タスクを1つ追加。チューニング前に凍結します。
3. ベースラインを記録します：アダプタ deterministic-v1、フィクスチャ summarize-notes、expected_report_sha256 = 9e8315034af750009a4b2cfb261a077428afe441bc45c602cb7ead32ac0fd787、およびベースラインコマンド python -m projects.agent_learning.cli evaluate --fixture summarize-notes --output 。
4. タスクごとの指標を定義します： status、steps、retries、終了理由、レポートハッシュ一致。契約のスコアラー次元 (成果・ツール挙動・予算・失敗処理) を踏襲します。
5. リソース上限を設定します：タスクあたり最大6ステップ、障害あたり最大2リトライ、実行時間上限30分、認可済み live 実行の費用上限 5.00 USD、および契約から複写した停止条件。
6. 提出証拠を列挙します：憲章、本契約、ベースライン台帳、タスク別結果、失敗ログ、来歴表。

演習と予測記録

必須9要素 (problem, user, scope, model_choice, baseline, evaluation_set, failure_cases, resource_limits, submission_evidence) をすべて含む capstone_acceptance.json を作成し、live 実行欄は明示的に null として not-run-awaiting-authorization と標識してください。

完了としてマーク

独立習得基準

実行前にレビュアーが各タスクの合否を予測できる契約を作成し、live 実行欄は null のまま not-run-awaiting-authorization 標識を保持できること。

公式ソースリソースと権利証跡

linking Open Access / CC BY 4.0

AgentBench: Evaluating LLMs as Agents

著者・提供機関: Xiao Liu, Hao Yu, Hanchen Zhang, Yifan Xu, Xuanyu Lei, Hanyu Lai, Yu Gu, Hangliang Ding, Kaiwen Men, Kejuan Yang, et al. | オリジナル出所URL ↗

該当セクション・タイムスタンプ: Section 4.1 Evaluation Setup and Section 4.3 Analysis

検証バージョンと日付: ICLR 2024 / arXiv:2308.03688v4 (Verified: 2026-10-30)

選定理由:

Systematic multi-environment agent benchmark; supplies the capstone's fixed-task-set discipline and per-task scoring decomposition used by the acceptance contract.

ソース前提知識:

Agent loops, tool use, and benchmark design fundamentals.

安全フォールバック（オフライン回復性）:

The capstone task set is fixed locally in the acceptance contract and does not require downloading the benchmark.

比較対象候補リソースと選定評価 (2)

Zhou et al.: WebArena: A Realistic Web Environment for Building Autonomous Agents ↗ compared_alternative [Open Access]

Deep single-domain web tasks with hosted infrastructure; AgentBench's multi-environment view better fits a general agent evaluation.

Mialon et al.: GAIA: a benchmark for General AI Assistants ↗ compared_alternative [Open Access]

Assistant-level real-world questions; also cited by the capstone for outcome-level task design.

linking arXiv non-exclusive license / Open Access

GAIA: a benchmark for General AI Assistants

著者・提供機関: Gregoire Mialon, Clementine Fourrier, Craig Swift, Thomas Wolf, Yann LeCun, Thomas Scialom | オリジナル出所URL ↗

該当セクション・タイムスタンプ: Sections 3-4: level design, tooling requirements, human vs agent gap

検証バージョンと日付: arXiv:2311.12983v3 (Verified: 2026-10-30)

選定理由:

Defines graded assistant tasks with unambiguous factual scoring; motivates the capstone's distinction between success tasks, malformed-request handling, and failure cases.

ソース前提知識:

Agent capabilities, tool use, and evaluation metrics.

安全フォールバック（オフライン回復性）:

The capstone evaluation tasks are defined in the local acceptance contract and need no external download.

比較対象候補リソースと選定評価 (2)

Liu et al.: AgentBench: Evaluating LLMs as Agents ↗ compared_alternative [Open Access / CC BY 4.0]

Multi-environment execution benchmark; GAIA adds graded real-world assistance tasks, and both inform the fixed task taxonomy.

Zhou et al.: WebArena ↗ compared_alternative [Open Access]

Web-only task environment; GAIA covers general assistant capability beyond browsing.

03 120 分

モデル選定：学習済みアダプタ vs 既存モデル

Agent支援エンジニアリングチェック

前提条件

第85日アクティビティ1〜2。チケット19の証拠パッケージとチケット21の LoRA 比較契約。

学習目標

クラウド事前学習の証拠パッケージと LoRA 比較契約を精査してキャップストーンエージェントを駆動するモデルを決定します。最終エージェントに適した既存モデルがより良い成績を示す場合は、その採用も認めます。

手順

1. curriculum/projects/docs/pretrain-cloud-evidence/evidence-package.json を開きます： 4層/4ヘッド/64埋込みの GPT レシピ、tinyshakespeare データの来歴と SHA-256、run_status=blocked を確認。事前学習作業はデータ→チェックポイントの一巡を教えますが、本番品質モデルは生み出しません。
2. projects/lora/evidence/comparison_contract.json を開きます： base_model openai-community/gpt2、LoRA r=8 alpha=16、対象 q_proj/v_proj、seed 42、分割 0.8/0.1/0.1、status=blocked-awaiting-authorization、方向のみ事前宣言する成功基準を確認。
3. projects/agent_learning/evidence/model_selection_plan.md を読みます：推奨されたオープン重みのローカル候補1件とプロバイダ API 代替3件。各々にバージョン・アクセス・データ利用・費用条件が記録されています。
4. 判定表を作ります。候補： (a) 事前学習レシピの自前 GPT、(b) LoRA 適応 gpt2、(c) 推奨の既存オープンモデル。各候補を観測済み証拠 (願望ではなく) で採点します：決定論的ベースライン同等性、ライセンス/再配布権、固定リビジョン、費用上限。
5. 判定を正直に記録します： deterministic-v1 アダプタはオフライン評価ベースラインのまま。認可済み live 実行には推奨オープン重みモデルが許容されます。自前の成果物は未証明であり、事前学習と LoRA の結果は設計を導きますが利用を義務付けません。
6. 分析を model_decision.md に保存し、候補ごとにライセンス行を1行ずつ付けます。

演習と予測記録

model_decision.md を作成してください： 3行の候補表 (証拠ファイル・ライセンス・判定) と、選んだ live 実行候補を指名し、自前選択肢が設計を導くものの最終エージェントを駆動しない理由を説明する1段落。

完了としてマーク

独立習得基準

3つの証拠成果物すべてへの引用、候補ごとのライセンス確認、および捏造された測定値ゼロでモデル選定を正当化できること。

公式ソースリソースと権利証跡

linking arXiv non-exclusive license / Open Access

Datasheets for Datasets

著者・提供機関: Timnit Gebru, Jamie Morgenstern, Briana Vecchione, Jennifer Wortman Vaughan, Hanna Wallach, Hal Daumé III, Kate Crawford | オリジナル出所URL ↗

該当セクション・タイムスタンプ: Section 3 Questions and Workflow (3.1 Motivation through 3.7 Maintenance)

検証バージョンと日付: Communications of the ACM 64(12) / arXiv:1803.09010v8 (Verified: 2026-10-30)

選定理由:

Standard questionnaire for documenting dataset origin, composition, rights, and maintenance; structures the capstone evidence package's data-provenance table.

ソース前提知識:

Dataset provenance, splits, and licensing vocabulary.

安全フォールバック（オフライン回復性）:

The provenance table template in the capstone instructions restates the required disclosure fields locally.

比較対象候補リソースと選定評価 (2)

Mitchell et al.: Model Cards for Model Reporting ↗ compared_alternative [Open Access]

Model-side reporting rather than dataset-side; the capstone provenance table cites both.

Bender & Friedman: Data Statements for Natural Language Processing ↗ compared_alternative [CC BY 4.0 (ACL Anthology, 2016 or later)]

NLP-specific demographic disclosure; Datasheets cover the general lifecycle needed for arbitrary capstone data.

linking arXiv non-exclusive license / Open Access

Model Cards for Model Reporting

著者・提供機関: Margaret Mitchell, Simone Wu, Andrew Zaldivar, Parker Barnes, Lucy Vasserman, Ben Hutchinson, Elena Spitzer, Inioluwa Deborah Raji, Timnit Gebru | オリジナル出所URL ↗

該当セクション・タイムスタンプ: Section 4 Model Card Sections (4.1-4.9)

検証バージョンと日付: FAT* 2019 / arXiv:1810.03993v3 (Verified: 2026-10-30)

選定理由:

Standard framework for disclosing a model's intended use, evaluation conditions, and limitations; supplies the capstone's model-choice and provenance documentation pattern.

ソース前提知識:

Basic model evaluation vocabulary: dataset, metric, intended use.

安全フォールバック（オフライン回復性）:

The curriculum provides a local model-decision table template covering intended use, evaluation data, and caveats.

比較対象候補リソースと選定評価 (2)

Gebru et al.: Datasheets for Datasets ↗ compared_alternative [Open Access]

Dataset-side documentation rather than model-side; used alongside Model Cards in the provenance table rather than as a replacement.

Vendor-specific safety disclosure; Model Cards provide the general reusable schema.

04 120 分

評価：憲章レビューゲートと範囲凍結

独立習得チェック（AI 支援なし）

前提条件

第85日アクティビティ1〜3。

学習目標

固定9要素チェックリストに基づき、憲章と適合契約の構造化 go/no-go レビューを実行し、範囲を凍結し、不合格要素への回復計画を記述します。

手順

1. 9要素チェックリストを用意します：具体的問題・明示ユーザー・範囲境界・モデル選択・ベースライン・評価集合・失敗ケース・リソース上限・提出証拠。
2. 憲章と契約を要素ごとに採点します。各要素は PRESENT または MISSING とし、定義箇所への1行ポインタを付けます。
3. 全要素が存在する場合、範囲を凍結します： scope_frozen=true と凍結日を記録。以後の機能要求は再レビュー経由とします。
4. 欠落要素がある場合、NO-GO 判定を書き、欠落要素名と修復する具体アクティビティ (act-01・act-02・act-03) を明記します。
5. 範囲拡大要求のドライランを1件行います ('add a chat UI') が範囲線を不合格にすることを示します。
6. 署名済みレビューを charter_review.json に保存します。

演習と予測記録

charter_review.json を作成してください：証拠ポインタ付きの9要素判定、最終 GO または NO-GO、そして判定結果に関わらず 'add a chat UI' への範囲拡大裁定。

完了としてマーク

独立習得基準

すべての判定が保存済み証拠を引用し、範囲凍結または NO-GO 決定が明示的かつ再現可能なレビューゲートを完遂できること。

公式ソースリソースと権利証跡

linking Open Access / CC BY 4.0

ReAct: Synergizing Reasoning and Acting in Language Models

著者・提供機関: Shunyu Yao, Jeffrey Zhao, Dian Yu, Nan Du, Izhak Shafran, Karthik Narasimhan, Yuan Cao | オリジナル出所URL ↗

該当セクション・タイムスタンプ: Sections 2-4: interleaved reasoning/action protocol; Figure 1 trace format

検証バージョンと日付: ICLR 2023 / arXiv:2210.03629v3 (Verified: 2026-10-30)

選定理由:

Primary literature for interleaving explicit reasoning steps with bounded tool actions; anchors the capstone's requirement that every step produces an inspectable observation inside a budgeted loop.

ソース前提知識:

Language-model prompting, tool-call loops, and basic action/observation traces.

安全フォールバック（オフライン回復性）:

The curriculum restates the action/observation loop and reimplements a deterministic three-tool agent locally; no paper text is imported.

比較対象候補リソースと選定評価 (2)

Wei et al.: Chain-of-Thought Prompting Elicits Reasoning in Large Language Models ↗ compared_alternative [Open Access / CC BY 4.0]

Pure reasoning traces without tool actions; ReAct adds the observable action/observation protocol that the capstone harness enforces.

Huang et al.: Inner Monologue: Embodied Reasoning through Planning with Language Models ↗ compared_alternative [Open Access]

Embodied closed-loop planning for robotics; ReAct's text-domain tool protocol maps directly onto the capstone's bounded tools.

linking Open Access / CC BY 4.0

AgentBench: Evaluating LLMs as Agents

著者・提供機関: Xiao Liu, Hao Yu, Hanchen Zhang, Yifan Xu, Xuanyu Lei, Hanyu Lai, Yu Gu, Hangliang Ding, Kaiwen Men, Kejuan Yang, et al. | オリジナル出所URL ↗

該当セクション・タイムスタンプ: Section 4.1 Evaluation Setup and Section 4.3 Analysis

検証バージョンと日付: ICLR 2024 / arXiv:2308.03688v4 (Verified: 2026-10-30)

選定理由:

Systematic multi-environment agent benchmark; supplies the capstone's fixed-task-set discipline and per-task scoring decomposition used by the acceptance contract.

ソース前提知識:

Agent loops, tool use, and benchmark design fundamentals.

安全フォールバック（オフライン回復性）:

The capstone task set is fixed locally in the acceptance contract and does not require downloading the benchmark.

比較対象候補リソースと選定評価 (2)

Zhou et al.: WebArena: A Realistic Web Environment for Building Autonomous Agents ↗ compared_alternative [Open Access]

Deep single-domain web tasks with hosted infrastructure; AgentBench's multi-environment view better fits a general agent evaluation.

Mialon et al.: GAIA: a benchmark for General AI Assistants ↗ compared_alternative [Open Access]

Assistant-level real-world questions; also cited by the capstone for outcome-level task design.