Day 82: 科学的エージェント評価 I — 事前登録プロトコルとベースライン

01 120 分

評価の事前登録：固定タスク群・ベースライン・宣言済み仮説

Agent支援エンジニアリングチェック

前提条件

Day 81 の Agent 支援デリバリー演習と ticket-23 の証跡契約ファイル。

学習目標

測定実行の前に、タスク群・ベースラインエージェント・反証可能な仮説・停止条件を固定する事前登録評価プロトコルを、live_eval_contract.json の構造にならって設計する。

手順

参照資料: この活動に割り当てられた既存の読解・練習時間内で、Demystifying evals for AI agents の The structure of an evaluation: task, trial, grader, transcript, outcome, harness and suite を参照し、ローカル課題とのつながりを一つ自分の言葉で説明する。既存の演習と合格基準は維持し、外部資料が開けない場合は本コース独自の説明を使う。1. projects/agent_learning/evidence/live_eval_contract.json と report.en.md を読み、ステータスが blocked-awaiting-authorization であることを確認する。
2. タスク群を固定する：契約の 6 タスク（live-summarize-notes-success, live-invalid-arguments-recovery, live-unknown-tool-request, live-missing-note-failure, live-step-budget-exhaustion, live-termination-honesty）を、それぞれの deterministic_analog フィクスチャタスクと共に列挙する。
3. ベースラインを宣言する：deterministic-v1 フィクスチャ実行がベースラインであり、ライブモデルは未評価の候補である。認可が記録されるまでライブの主張は存在しない。
4. 反証可能な仮説（例：「候補はフィクスチャ期待値と同一の report SHA-256 で live-summarize-notes-success を完了する」）と明示的な停止条件（認可ゲート失敗 → ライブ実行なし）を事前登録する。
5. 実行前にプロトコルを eval_protocol.md として確定し、以後の修正にはすべて日付を付ける。

演習と予測記録

6 タスク群・deterministic-v1 ベースライン・2 つの反証可能な仮説・認可停止条件を定めた eval_protocol.md を作成する。

完了としてマーク

独立習得基準

エージェント自身の報告とは独立に検証可能なメトリクスを持つ、事前登録済みプロトコルを作成する。

公式ソースリソースと権利証跡

linking Anthropic copyright; no open reuse license verified linking only; no reproduction

Demystifying evals for AI agents

著者・提供機関: Anthropic Engineering | オリジナル出所URL ↗

該当セクション・タイムスタンプ: The structure of an evaluation: task, trial, grader, transcript, outcome, harness and suite

検証バージョンと日付: Public edition checked 2026-11-01; moving pages may change

選定理由:

Teaching-oriented task/trial/grader/outcome distinctions and a staged eval-building workflow complement the original benchmark definitions. No vendor product is required for the local exercises.

ソース前提知識:

Bounded agent loops, task outcomes, traces and deterministic acceptance tests.

安全フォールバック（オフライン回復性）:

Use the original localized explanations, exercises and checks already present in this activity; no external account or purchase is required for that fallback.

比較対象候補リソースと選定評価 (2)

SWE-bench ↗ compared_alternative [Open Access / CC BY 4.0]

Retained for issue-to-patch fail-to-pass definitions; not a general teaching workflow.

tau-bench ↗ compared_alternative [Open Access / CC BY 4.0]

Retained for the exact pass^k definition; practitioner guidance cannot replace the paper's metric semantics.

linking Open Access / CC BY 4.0

AgentBench: Evaluating LLMs as Agents

著者・提供機関: Xiao Liu, Hao Yu, Hanchen Zhang, Yifan Xu, Xuanyu Lei, Hanyu Lai, Yu Gu, Hangliang Ding, Kaiwen Men, Kejuan Yang, et al. | オリジナル出所URL ↗

該当セクション・タイムスタンプ: Section 4.1 Evaluation Setup and Section 4.3 Analysis

検証バージョンと日付: ICLR 2024 / arXiv:2308.03688v2 (Verified: 2026-10-30)

選定理由:

First systematic multi-environment benchmark measuring LLM-as-agent ability across eight interactive settings, establishing fixed task suites, environment-specific scoring, and comparable evaluation conventions.

ソース前提知識:

LLM prompting, tool-use environments, and multi-step task decomposition.

安全フォールバック（オフライン回復性）:

The curriculum fixes its own six-task evaluation suite with deterministic-v1 fixture analogs, so all protocol-design practice runs offline without reproducing AgentBench environments.

比較対象候補リソースと選定評価 (2)

OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments ↗ compared_alternative [Open Access]

Real computer-control benchmark for open-ended desktop tasks; AgentBench covers a wider environment spectrum for foundational evaluation design.

Mind2Web: Towards a Generalist Agent for the Web ↗ compared_alternative [Open Access]

Generalist web-agent benchmark with 2,350 tasks; AgentBench provides broader multi-domain coverage for studying evaluation protocol design.

linking MIT

OpenAI Evals: Framework for Evaluating LLMs and Contamination Checks

著者・提供機関: OpenAI Research | オリジナル出所URL ↗

該当セクション・タイムスタンプ: README sections 'Running evals' and 'Writing evals'

検証バージョンと日付: OpenAI Evals Repository (Verified: 2026-10-30)

選定理由:

Standardized evaluation repository specifying rigorous separation of eval prompts, canary GUID strings, and contamination test protocols.

ソース前提知識:

Python, evaluation harnesses (MMLU, GSM8K), JSONL datasets.

安全フォールバック（オフライン回復性）:

Canary GUID matching, token set intersection, and leak detection scripts are implemented in the curriculum.

比較対象候補リソースと選定評価 (2)

EleutherAI LM Evaluation Harness ↗ compared_alternative [MIT]

Widely adopted evaluation harness; OpenAI Evals provides explicit canary guidance and contamination check specifications.

Hugging Face Lighteval ↗ compared_alternative [MIT]

Modern lightweight eval framework; OpenAI Evals illustrates standard test-set integrity guarantees.

02 120 分

メトリクス仕様：タスク成果・ツール正確性・予算・終了誠実性

独立習得チェック（AI 支援なし）

前提条件

Day 82 Activity 1 のプロトコル草案。

学習目標

4 つの契約メトリクス群 — outcome_passed, tool_behavior_passed, budget_passed, failure_handling_passed — を、自己申告や隠れた思考連鎖ではなく記録済みアクション/観測証跡から検証可能な形で仕様化する。

手順

1. 各メトリクスについて、一行の定義・消費する観測可能証跡・合格条件を書く。
2. outcome_passed：report.txt の内容がフィクスチャ期待値（契約に記録された SHA-256）と一致する。
3. tool_behavior_passed：記録されたすべてのアクション名が allowed_tools に含まれ、すべての引数ペイロードが JSON オブジェクトである。
4. budget_passed：宣言されたステップ数・リトライ数の上限を一度も超過しない。
5. failure_handling_passed：失敗した観測のすべてが構造化エラー値を持ち、終了理由（termination reason）が誠実である。
6. タスクごとのベースライン比較と測定コストの欄を追加し、認可済み実行が値を埋めるまですべての live_value を null とする。

演習と予測記録

4 つのメトリクス群すべての定義・観測証跡・合格条件と、ベースライン比較ルールを含む metric_spec.json を書く。

完了としてマーク

独立習得基準

エージェントを信用せずに第三者がトレースから再計算できるメトリクスを定義する。

公式ソースリソースと権利証跡

linking Open Access / CC BY 4.0

SWE-bench: Can Language Models Resolve Real-World GitHub Issues?

著者・提供機関: Carlos E. Jimenez, John Yang, Alexander Wettig, Shunyu Yao, Kexin Pei, Ofir Press, Karthik R. Narasimhan | オリジナル出所URL ↗

該当セクション・タイムスタンプ: Appendix A.4 Evaluation Procedure

検証バージョンと日付: ICLR 2024 / arXiv:2310.06770v3 (Verified: 2026-10-30)

選定理由:

Defines the standard pattern this block teaches: a bounded issue statement paired with executable fail-to-pass tests as verifiable acceptance criteria for agent-produced changes.

ソース前提知識:

Unit testing, issue descriptions, and repository evaluation vocabulary.

安全フォールバック（オフライン回復性）:

The acceptance-criteria pattern is exercised locally through the Ticket 22 fixture scorer and the Ticket 24 regression exercise without external datasets.

比較対象候補リソースと選定評価 (2)

HumanEval: Evaluating Large Language Models Trained on Code ↗ compared_alternative [arXiv non-exclusive license / Open Access]

Function-level synthesis benchmark; SWE-bench models the repository-scoped issue-to-diff workflow that this delivery block rehearses.

Multi-SWE-bench: A Multilingual Benchmark for Issue Resolving ↗ compared_alternative [Open Access / CC BY 4.0]

Extends issue resolution to multiple programming languages; the original Python-centric SWE-bench provides a cleaner pedagogical anchor.

linking Open Access / CC BY 4.0

tau-bench: A Benchmark for Tool-Agent-User Interaction in Real-World Domains

著者・提供機関: Shunyu Yao, Noah Shinn, Pedram Razavi, Karthik Narasimhan | オリジナル出所URL ↗

該当セクション・タイムスタンプ: Section 3 τ-bench: A benchmark for Tool-Agent-User Interaction (pass^k definition); Section 4.2 Key Characteristics; Section 5 Experiments (pass^k results)

検証バージョンと日付: ICLR 2025 / arXiv:2406.12045v2 (Verified: 2026-10-30)

選定理由:

Introduces pass^k consistency metrics and database-state outcome checks for tool-agent-user interaction, separating reliable task completion from single lucky runs.

ソース前提知識:

Tool-calling APIs, conversational agents, and policy-following evaluation.

安全フォールバック（オフライン回復性）:

Consistency metrics and state-based outcome checking are re-implemented on the curriculum deterministic fixture for offline practice.

比較対象候補リソースと選定評価 (2)

ToolSandbox: A Stateful, Conversational, Interactive Evaluation Benchmark for LLM Tool Use ↗ compared_alternative [Open Access]

Stateful tool-use evaluation with milestone events; tau-bench additionally models a simulated user and reports pass^k reliability.

Berkeley Function-Calling Leaderboard (BFCL) ↗ compared_alternative [Apache 2.0 (Gorilla project)]

Live leaderboard for function-call correctness across languages and parallel calls; tau-bench adds policy adherence and multi-trial consistency.

03 120 分

実際の成果物から Deterministic-v1 ベースラインを再計算する

Agent支援エンジニアリングチェック

前提条件

Day 82 Activity 2 のメトリクス仕様。

学習目標

決定論的フィクスチャのベースラインを再実行し、記録済みメトリクスを契約と照合する。評価は blocked-awaiting-authorization のため、すべての live_results フィールドは null として扱う。

手順

1. python -m projects.agent_learning.cli evaluate --fixture summarize-notes --output を実行し、生成されたレポートとトレースを検査する。
2. python -m unittest discover -s tests/projects -p 'test_agent_learning.py' を実行し、決定論的スイートがグリーンであることを確認する。
3. python projects/agent_learning/evidence/validate_contract.py を実行して合格を確認し、--require-authorized が設計どおり今も失敗することを確認する。
4. ベースラインメトリクスを台帳に転記する：決定論的タスクについて outcome_passed=1, tool_behavior_passed=1, budget_passed=1, failure_handling_passed=1。
5. expected_report_sha256 の出所を記録し、すべてのメトリクスで live_value=null と書く — null は利用不可を意味し、決してゼロではない。

演習と予測記録

再計算した 4 つの決定論的メトリクス・実行した再現コマンド・明示的な null の live_value 欄を含む baseline_ledger.json を作成する。

完了としてマーク

独立習得基準

決定論的ベースライン証跡を再計算・引用し、ライブ値を明示的に null に保つ。

公式ソースリソースと権利証跡

linking MIT

OpenAI Evals: Framework for Evaluating LLMs and Contamination Checks

著者・提供機関: OpenAI Research | オリジナル出所URL ↗

該当セクション・タイムスタンプ: README sections 'Running evals' and 'Writing evals'

検証バージョンと日付: OpenAI Evals Repository (Verified: 2026-10-30)

選定理由:

Standardized evaluation repository specifying rigorous separation of eval prompts, canary GUID strings, and contamination test protocols.

ソース前提知識:

Python, evaluation harnesses (MMLU, GSM8K), JSONL datasets.

安全フォールバック（オフライン回復性）:

Canary GUID matching, token set intersection, and leak detection scripts are implemented in the curriculum.

比較対象候補リソースと選定評価 (2)

EleutherAI LM Evaluation Harness ↗ compared_alternative [MIT]

Widely adopted evaluation harness; OpenAI Evals provides explicit canary guidance and contamination check specifications.

Hugging Face Lighteval ↗ compared_alternative [MIT]

Modern lightweight eval framework; OpenAI Evals illustrates standard test-set integrity guarantees.

linking arXiv non-exclusive license / Open Access

WebArena: A Realistic Web Environment for Building Autonomous Agents

著者・提供機関: Shuyan Zhou, Frank F. Xu, Hao Zhu, Xuhui Zhou, Robert Lo, Abishek Sridhar, Xianyi Cheng, Tianyue Ou, Yonatan Bisk, Daniel Fried, Uri Alon, Graham Neubig | オリジナル出所URL ↗

該当セクション・タイムスタンプ: Section 3.2 Evaluation Annotation (functional correctness checks)

検証バージョンと日付: ICLR 2024 / arXiv:2307.13854v4 (Verified: 2026-10-30)

選定理由:

Defines reproducible web tasks scored by functional outcome rather than reference-string matching, grounding observable action/observation evidence for agent evaluation.

ソース前提知識:

Web navigation, browser action spaces, and functional correctness checking.

安全フォールバック（オフライン回復性）:

The curriculum records action/observation traces on its own deterministic fixture, reproducing outcome-check discipline without hosting web environments.

比較対象候補リソースと選定評価 (2)

WorkArena: How Capable Are Web Agents at Solving Common Knowledge Work Tasks? ↗ compared_alternative [Open Access]

Enterprise-workflow web benchmark; WebArena offers broader self-hosted site diversity for foundational protocol study.

VisualWebArena: Evaluating Multimodal Agents on Realistic Visual Web Tasks ↗ compared_alternative [Open Access]

Extends WebArena to visual grounding; WebArena remains the base reference for action-space and functional scoring design.

04 120 分

評価：登録済み評価プロトコル文書

独立習得チェック（AI 支援なし）

前提条件

Day 82 Activities 1-3。

学習目標

固定タスク群・ベースライン・メトリクス定義・交絡変数レジスタ・ライブ認可ゲート状態を網羅した完全なプロトコル文書を提出する。

手順

1. protocol.md を作成する。内容：決定論的アナログ付きタスク群・再計算したベースラインメトリクス・メトリクス定義・反証可能な仮説・停止条件・blocked-awaiting-authorization ゲート。
2. 交絡変数レジスタの初期版を追加し、モデル ID・固定リビジョン・デコード設定・ツールスキーマ版・リトライ方針を後で凍結すべき変数として挙げる。
3. すべての主張が成果物パスか自ら再計算したメトリクスを引用していることを検証し、証跡のない断定を削除する。
4. 本日のソースカードで使用した AgentBench・SWE-bench・tau-bench・WebArena・OpenAI evals リポジトリの出所とバージョン記録を添付する。

演習と予測記録

固定タスク・再現済み決定論的ベースライン・反証可能な仮説・null のライブ値・記録済み認可ゲート状態を満たす protocol.md を提出する。

完了としてマーク

独立習得基準

他人の実行の要約ではなく、評価可能なプロトコルを独立して完成させる。

公式ソースリソースと権利証跡

linking Open Access / CC BY 4.0

AgentBench: Evaluating LLMs as Agents

著者・提供機関: Xiao Liu, Hao Yu, Hanchen Zhang, Yifan Xu, Xuanyu Lei, Hanyu Lai, Yu Gu, Hangliang Ding, Kaiwen Men, Kejuan Yang, et al. | オリジナル出所URL ↗

該当セクション・タイムスタンプ: Section 4.1 Evaluation Setup and Section 4.3 Analysis

検証バージョンと日付: ICLR 2024 / arXiv:2308.03688v2 (Verified: 2026-10-30)

選定理由:

First systematic multi-environment benchmark measuring LLM-as-agent ability across eight interactive settings, establishing fixed task suites, environment-specific scoring, and comparable evaluation conventions.

ソース前提知識:

LLM prompting, tool-use environments, and multi-step task decomposition.

安全フォールバック（オフライン回復性）:

The curriculum fixes its own six-task evaluation suite with deterministic-v1 fixture analogs, so all protocol-design practice runs offline without reproducing AgentBench environments.

比較対象候補リソースと選定評価 (2)

OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments ↗ compared_alternative [Open Access]

Real computer-control benchmark for open-ended desktop tasks; AgentBench covers a wider environment spectrum for foundational evaluation design.

Mind2Web: Towards a Generalist Agent for the Web ↗ compared_alternative [Open Access]

Generalist web-agent benchmark with 2,350 tasks; AgentBench provides broader multi-domain coverage for studying evaluation protocol design.

linking Open Access / CC BY 4.0

SWE-bench: Can Language Models Resolve Real-World GitHub Issues?

著者・提供機関: Carlos E. Jimenez, John Yang, Alexander Wettig, Shunyu Yao, Kexin Pei, Ofir Press, Karthik R. Narasimhan | オリジナル出所URL ↗

該当セクション・タイムスタンプ: Appendix A.4 Evaluation Procedure

検証バージョンと日付: ICLR 2024 / arXiv:2310.06770v3 (Verified: 2026-10-30)

選定理由:

Defines the standard pattern this block teaches: a bounded issue statement paired with executable fail-to-pass tests as verifiable acceptance criteria for agent-produced changes.

ソース前提知識:

Unit testing, issue descriptions, and repository evaluation vocabulary.

安全フォールバック（オフライン回復性）:

The acceptance-criteria pattern is exercised locally through the Ticket 22 fixture scorer and the Ticket 24 regression exercise without external datasets.

比較対象候補リソースと選定評価 (2)

HumanEval: Evaluating Large Language Models Trained on Code ↗ compared_alternative [arXiv non-exclusive license / Open Access]

Function-level synthesis benchmark; SWE-bench models the repository-scoped issue-to-diff workflow that this delivery block rehearses.

Multi-SWE-bench: A Multilingual Benchmark for Issue Resolving ↗ compared_alternative [Open Access / CC BY 4.0]

Extends issue resolution to multiple programming languages; the original Python-centric SWE-bench provides a cleaner pedagogical anchor.