統合レビュー：証跡の種類・事前登録・ベースライン規律
Agent支援エンジニアリングチェック
前提条件
Day 83 の解釈メモ。
学習目標
ノートに触れる前に、ブロックの中核的区別 — 決定論的フィクスチャ証跡対ブロック済みライブ証跡・事前登録対事後の物語・成果メトリクス対ツール行動メトリクス — を記憶から想起する。
手順
1. 想起練習：記憶から 4 つのメトリクス群・6 つの契約タスク ID・evidence_kind が deterministic と live で異なる点を書き出す。
2. live_eval_contract.json と照合して想起を検査し、外れた項目はすべて補習計画に記録する。
3. blocked-awaiting-authorization 状態を 1 段落で要約する：存在するもの（決定論的実行・契約・バリデータ）と存在しないもの（あらゆるライブ測定値）。
4. ベースライン規律 — スイート・ベースライン・仮説を先に凍結すること — がブロックの中心習慣である理由を説明する。
演習と予測記録
4 つのメトリクス群・全 6 タスク ID・決定論対ライブの証跡ルールを記憶から書き、契約と照合して自己採点した recall_log.md を作成する。
タスク ID やメトリクス群を記憶から呼び出せなければ、そのギャップは間隔復習リスト行きである。
recall = {'metrics':['outcome_passed','tool_behavior_passed','budget_passed','failure_handling_passed'],'tasks':6,'rule':'deterministic fixture evidence != live model evidence; live_value stays null until authorized'}
ブロックの中核概念を記憶から正確に再現し、ギャップを誠実に記録する。
公式ソースリソースと権利証跡
AgentBench: Evaluating LLMs as Agents
該当セクション・タイムスタンプ: Section 4.1 Evaluation Setup and Section 4.3 Analysis
検証バージョンと日付: ICLR 2024 / arXiv:2308.03688v2 (Verified: 2026-10-30)
First systematic multi-environment benchmark measuring LLM-as-agent ability across eight interactive settings, establishing fixed task suites, environment-specific scoring, and comparable evaluation conventions.
LLM prompting, tool-use environments, and multi-step task decomposition.
The curriculum fixes its own six-task evaluation suite with deterministic-v1 fixture analogs, so all protocol-design practice runs offline without reproducing AgentBench environments.
比較対象候補リソースと選定評価 (2)
Real computer-control benchmark for open-ended desktop tasks; AgentBench covers a wider environment spectrum for foundational evaluation design.
Generalist web-agent benchmark with 2,350 tasks; AgentBench provides broader multi-domain coverage for studying evaluation protocol design.
SWE-bench: Can Language Models Resolve Real-World GitHub Issues?
該当セクション・タイムスタンプ: N/A
検証バージョンと日付: ICLR 2024 / arXiv:2310.06770v3 (Verified: 2026-10-30)
Defines the standard pattern this block teaches: a bounded issue statement paired with executable fail-to-pass tests as verifiable acceptance criteria for agent-produced changes.
Unit testing, issue descriptions, and repository evaluation vocabulary.
The acceptance-criteria pattern is exercised locally through the Ticket 22 fixture scorer and the Ticket 24 regression exercise without external datasets.
比較対象候補リソースと選定評価 (2)
Function-level synthesis benchmark; SWE-bench models the repository-scoped issue-to-diff workflow that this delivery block rehearses.
Extends issue resolution to multiple programming languages; the original Python-centric SWE-bench provides a cleaner pedagogical anchor.