交絡分析：モデル・ハーネス・設定・サンプル数の限界
Agent支援エンジニアリングチェック
前提条件
Day 82 の登録済みプロトコル文書。
学習目標
モデル同一性と固定リビジョン・デコード設定・ハーネスとツール面・プロンプト文脈・サンプル数という交絡変数を列挙・制御し、観測差が単一原因に誤帰因されないようにする。
手順
参照資料: この活動に割り当てられた既存の読解・練習時間内で、Demystifying evals for AI agents の Types of graders for agents; capability vs. regression evals; repeated-trial reliability を参照し、ローカル課題とのつながりを一つ自分の言葉で説明する。既存の演習と合格基準は維持し、外部資料が開けない場合は本コース独自の説明を使う。1. 交絡レジスタを作成する。列は 変数・観測値・制御/自由・推定影響方向。モデル ID＋リビジョン、temperature/seed、コンテキスト長、ツールスキーマ版、リトライ方針、実行時間のばらつきを含める。
2. サンプル数の限界を定量化する：6 タスクのスイートでは、1 件の結果反転が成功率を約 17 ポイント動かす。6/6 の Wilson 区間を計算し、誠実な範囲がどれほど広いかを確認する。
3. 報告ルールを書く：n が小さいときは生の件数と区間を報告し、絶対的なツール順位づけはしない。
4. ハーネス効果とモデル効果を 2 軸の比較表で分離し、分離できないセルは推測せず「confounded（交絡）」と記す。
演習と予測記録
少なくとも 6 変数を制御/自由ステータス付きで列挙した confounder_register.md と、6 タスクでは順位主張を支えられない理由を示すサンプル数計算を作成する。
n=6・制御なしの差は、測定ではなく算術付きの逸話である。
register = [
{'variable':'model_id+revision','status':'free — not yet pinned'},
{'variable':'temperature/seed','status':'free'},
{'variable':'tool_schema_version','status':'controlled by contract'},
{'variable':'retry_policy','status':'controlled by contract'},
{'variable':'sample_size','status':'n=6 → one flip ≈ ±17pp'}
]
比較がどの変数を制御しどれを自由に残すかを説明し、サンプルが支えられない順位主張を拒否する。
公式ソースリソースと権利証跡
Demystifying evals for AI agents
該当セクション・タイムスタンプ: Types of graders for agents; capability vs. regression evals; repeated-trial reliability
検証バージョンと日付: Public edition checked 2026-11-01; moving pages may change
Teaching-oriented task/trial/grader/outcome distinctions and a staged eval-building workflow complement the original benchmark definitions. No vendor product is required for the local exercises.
Bounded agent loops, task outcomes, traces and deterministic acceptance tests.
Use the original localized explanations, exercises and checks already present in this activity; no external account or purchase is required for that fallback.
比較対象候補リソースと選定評価 (2)
Retained for issue-to-patch fail-to-pass definitions; not a general teaching workflow.
Retained for the exact pass^k definition; practitioner guidance cannot replace the paper's metric semantics.
tau-bench: A Benchmark for Tool-Agent-User Interaction in Real-World Domains
該当セクション・タイムスタンプ: Section 3 τ-bench: A benchmark for Tool-Agent-User Interaction (pass^k definition); Section 4.2 Key Characteristics; Section 5 Experiments (pass^k results)
検証バージョンと日付: ICLR 2025 / arXiv:2406.12045v2 (Verified: 2026-10-30)
Introduces pass^k consistency metrics and database-state outcome checks for tool-agent-user interaction, separating reliable task completion from single lucky runs.
Tool-calling APIs, conversational agents, and policy-following evaluation.
Consistency metrics and state-based outcome checking are re-implemented on the curriculum deterministic fixture for offline practice.
比較対象候補リソースと選定評価 (2)
Stateful tool-use evaluation with milestone events; tau-bench additionally models a simulated user and reports pass^k reliability.
Live leaderboard for function-call correctness across languages and parallel calls; tau-bench adds policy adherence and multi-trial consistency.
AgentBench: Evaluating LLMs as Agents
該当セクション・タイムスタンプ: Section 4.1 Evaluation Setup and Section 4.3 Analysis
検証バージョンと日付: ICLR 2024 / arXiv:2308.03688v2 (Verified: 2026-10-30)
First systematic multi-environment benchmark measuring LLM-as-agent ability across eight interactive settings, establishing fixed task suites, environment-specific scoring, and comparable evaluation conventions.
LLM prompting, tool-use environments, and multi-step task decomposition.
The curriculum fixes its own six-task evaluation suite with deterministic-v1 fixture analogs, so all protocol-design practice runs offline without reproducing AgentBench environments.
比較対象候補リソースと選定評価 (2)
Real computer-control benchmark for open-ended desktop tasks; AgentBench covers a wider environment spectrum for foundational evaluation design.
Generalist web-agent benchmark with 2,350 tasks; AgentBench provides broader multi-domain coverage for studying evaluation protocol design.