ポートフォリオ・チェックリスト:来歴・再現性・主張・制限
Agent支援エンジニアリングチェック
前提条件
第89日の習得台帳、完了済み学習プロジェクト系列。
学習目標
全ポートフォリオ項目が満たすべきチェックリスト—主張・証跡パス・再現コマンド・観測結果・コスト/認可状態・制限—を、受理済みプロジェクト証跡と業界来歴形式に基づき定義する。
手順
1. 項目必須フィールド:{project, claim, evidence_path, verify_command, observed_result, status, limitations}。status語彙は固定:verified-local(本機でコマンド検証済み)、verified-disposable(使い捨て環境内で検証済み)、blocked-awaiting-authorization(未付与の承認/有料/実アクセスが必要)。
2. 受理済み証跡の項目対応:
- Autogradプロジェクト(チケット17):projects/autograd engine + gradcheck;python3 projects/autograd/cli.py forward-backward と gradcheck で verified-local。
- 再開可能事前学習(チケット18/19):projects/pretrain/artifacts/run_artifact.json — 10ステップCPUスモーク、train_loss 4.0316、val_loss 4.0372、7440パラメータ;verified-local。クラウドGPU事前学習証跡:blocked-awaiting-authorization。
- LoRAの仕組み(チケット20/21):projects/lora/artifacts — 損失4.0976→4.0945、パープレキシティ60.20→60.01、merge_verified true(機構確認のみ);クラウド前後比較:comparison_contract.json により blocked-awaiting-authorization。
- 評価可能エージェント(チケット22/23):projects/agent_learning deterministic-v1 スコアラ+フィクスチャ;verified-local。実モデル評価:live_eval_contract.json により not-run-awaiting-authorization。
- CIデリバリ練習(チケット24):scripts/ci_practice_runner.py + tests/engineering/test_ci_practice.py;verified-disposable。
3. 誠実ルール(逐語):blocked項目をverifiedへ格上げしない;全主張にコミットハッシュとアーティファクトパスを引用;スモーク規模の結果を収束として提示しない。
4. モデルカードとデータシート慣行が、業界が期待する制限フィールドを定義する—テキストでなくフィールドを写す。
演習と予測記録
checklist.md を作成:項目必須6フィールド、3つのstatus値、2つの誠実ルールを列挙し、各受理プロジェクトがどのstatusに対応するか注記せよ。
Model Cards(Mitchellら)とDatasheets(Gebruら)が、レビュアが期待する来歴・制限フィールドを示す。
# Portfolio checklist
Fields per entry: project, claim, evidence_path, verify_command, observed_result, status, limitations.
Statuses: verified-local (autograd, pretrain smoke, agent fixture, lora mechanics); verified-disposable (CI delivery practice); blocked-awaiting-authorization (cloud pretraining, cloud LoRA comparison, live-model agent eval).
Honesty rules: (1) a blocked item is never relabelled verified; (2) every claim cites commit hash + artifact path; smoke-scale results are never presented as convergence or quality evidence.
チェックリストが6フィールド・3状態を網羅し、各受理プロジェクトの検証済み/認可待ち証跡を正しく標識している。
公式ソースリソースと権利証跡
The Turing Way: A Handbook for Reproducible, Ethical and Collaborative Data Science
該当セクション・タイムスタンプ: Reproducible Research chapter: version control, testing, environment capture
検証バージョンと日付: Zenodo DOI 10.5281/zenodo.3233853, continuously updated (Verified: 2026-10-30)
Community-maintained CC-BY handbook codifying reproducibility checklists (versioned code, environment capture, rerunnable commands); directly defines the Day 90 reproduction-verification and provenance-audit workflow.
Basic version control and command-line familiarity.
The portfolio checklist and verification log schema are authored locally; reproduction commands run without the handbook.
比較対象候補リソースと選定評価 (2)
Concise practices paper; The Turing Way's maintained, checklist-driven coverage of environments and reproducibility is broader and kept current.
Foundational rules list; The Turing Way expands the same rules into actionable checklists used verbatim for the Day 90 verification run.
Model Cards for Model Reporting
該当セクション・タイムスタンプ: Section 4 Model Card Sections (4.1-4.9)
検証バージョンと日付: FAT* 2019 / arXiv:1810.03993v2 (Verified: 2026-10-30)
Primary standard for structured, transparent model reporting, mandating explicit disclosure of intended uses, evaluation slices, out-of-scope tasks, ethical considerations, and negative results.
Evaluation reporting, demographic and performance slicing, model limitations and caveats.
Complete Model Card Markdown templates, section schemas, and evaluation disclosure checklists are provided in the curriculum.
比較対象候補リソースと選定評価 (2)
Corporate transparency audit index; Mitchell et al. provides the concrete technical artifact specification for individual model releases.
Dataset documentation focus; Mitchell et al. provides the required specification for trained model artifact reporting.