Day 10: ファイル、パス、エンコーディング

count = 0
with open("notes.txt", encoding="utf-8") as f:
for line in f:
if line.strip():
count += 1
print(count, f.closed)
出力：3 True。追跡：ループは 'alpha\n'、'beta\n'、'gamma\n'（最終行に改行が無ければ 'gamma'）を順に受け取る。strip() 後もどれも空ではないので count は3になり、最終行の末尾の改行は4行目を作らない。print は with ブロックを抜けた後に実行されるので、f はすでに閉じており f.closed は True。

演習スクリプトの観察結果（フィクスチャが専用なので、どのマシンでも同じになる）：

[project] exit=0
cwd is project: True
exists: True
lines: 3
[outside] exit=1
cwd is project: False
exists: False
FileNotFoundError: [Errno 2] No such file or directory: 'data/notes.txt'

診断：ファイルは存在する（cwd が project のとき exists: True）が、2回目の実行は cwd が異なる（cwd is project: False）ため、相対パスは存在しない outside/data/notes.txt に解決される。原因はワーキングディレクトリであり、ファイル不在ではない。最小の修正：BASE = Path(__file__).resolve().parent でパスをスクリプトに固定し、BASE / "data" / "notes.txt" を開く。カウントの行は変えない。下の完全な参照コードは、新しいフィクスチャに固定版の reader を書き込み、両方のフォルダから実行し、その後データファイルを削除してもう一方の原因を示す：固定したパス自体が存在しないときは、どんなコード変更も役に立たず、フィクスチャの復元で直る。

import subprocess
import sys
import tempfile
from pathlib import Path
FIXED = (
    "from pathlib import Path\n"
    "BASE = Path(__file__).resolve().parent\n"
    "with open(BASE / 'data' / 'notes.txt', encoding='utf-8') as f:\n"
    "    print('lines:', sum(1 for line in f if line.strip()))\n"
)

def run(script, cwd):
    done = subprocess.run([sys.executable, str(script)],
                          cwd=cwd, capture_output=True, text=True)
    if done.returncode == 0:
        return f"exit=0 {done.stdout.strip()}"
    last = done.stderr.strip().splitlines()[-1]
    return f"exit={done.returncode} {last.split(':')[0]}"

with tempfile.TemporaryDirectory() as tmp:
    root = Path(tmp).resolve()
    project = root / "project"
    outside = root / "outside"
    notes = project / "data" / "notes.txt"
    notes.parent.mkdir(parents=True)
    outside.mkdir()
    notes.write_text("alpha\nbeta\ngamma\n", encoding="utf-8")
    reader = project / "reader.py"
    reader.write_text(FIXED, encoding="utf-8")
    print("anchored, from outside:", run(reader, outside))
    print("anchored, from project:", run(reader, project))
    notes.unlink()
    print("fixture deleted, anchored path exists:", notes.exists())
    print("anchored, from project:", run(reader, project))
    notes.write_text("alpha\nbeta\ngamma\n", encoding="utf-8")
    print("fixture restored:", run(reader, outside))

期待される出力：

anchored, from outside: exit=0 lines: 3
anchored, from project: exit=0 lines: 3
fixture deleted, anchored path exists: False
anchored, from project: exit=1 FileNotFoundError
fixture restored: exit=0 lines: 3

予測と観察結果：

{'ana': 7, 'cy': 5} [2]

2行目（bo,x9）は try の中で ValueError を投げるので、その行番号が skipped に入り、continue によって代入は飛ばされる。1行目と3行目は scores[name] = score に到達する。try は int(raw) だけを囲んでいるので、open() の失敗や行分割のバグは、不正行として黙って数えられるのではなく traceback として表に出る。enumerate(f, 1) は物理行に番号を振るので、空行があっても番号は進む。デコードの問題は別種の失敗であり、次のプログラムで ValueError と対比する：

data = "café".encode("latin-1")
print(data)
try:
    data.decode("utf-8")
except UnicodeDecodeError as exc:
    print(type(exc).__name__ + ":", exc)
print(data.decode("latin-1") == "café")
print(b"plain ascii".decode("utf-8") == b"plain ascii".decode("latin-1"))
both = b"caf\xc3\xa9"
as_utf8 = both.decode("utf-8")
as_latin1 = both.decode("latin-1")
print(as_utf8 == "café", as_latin1 == "café", len(as_utf8), len(as_latin1))

期待される出力：

b'caf\xe9'
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xe9 in position 3: unexpected end of data
True
True
True True 4 5

b'caf\xe9' は Latin-1 の café で、有効な UTF-8 ではないため、UTF-8 としてデコードすると UnicodeDecodeError になる。直し方は本当のエンコーディング（ここでは encoding="latin-1"）を宣言すること。ASCII だけならどちらのエンコーディングでも同じ結果になり、b'caf\xc3\xa9' はどちらでもデコードに成功するが別のテキストになる（café は4文字、café は5文字）。したがってデコードの成功は、宣言したエンコーディングが正しい証明にはならない。これに対して ValueError は、テキストは正しくデコードされたが、ある行の値が不正だという意味である。

自己完結したフィクスチャ付きの参照実装（自分の版と比べるのは、無支援での試行を記録した後にする）：

import tempfile
from pathlib import Path

def summarize_scores(path):
    result = {"scores": {}, "skipped": [], "missing": False}
    try:
        f = open(path, encoding="utf-8")
    except FileNotFoundError:
        result["missing"] = True
        return result
    with f:
        for lineno, line in enumerate(f, 1):
            line = line.strip()
            if not line:
                continue
            name, sep, raw = line.rpartition(",")
            try:
                score = int(raw)
            except ValueError:
                score = None
            if not sep or not name or score is None:
                result["skipped"].append(lineno)
                continue
            best = result["scores"].get(name)
            if best is None or score > best:
                result["scores"][name] = score
    return result

with tempfile.TemporaryDirectory() as tmp:
    base = Path(tmp)
    (base / "s1.txt").write_text("ana,7\nbo,9\nana,8\n", encoding="utf-8")
    (base / "s2.txt").write_text("ana,7\nbo,x9\ncy,5\n", encoding="utf-8")
    print(summarize_scores(base / "s1.txt"))
    print(summarize_scores(base / "s2.txt"))
    print(summarize_scores(base / "missing.txt"))

期待される出力：

{'scores': {'ana': 8, 'bo': 9}, 'skipped': [], 'missing': False}
{'scores': {'ana': 7, 'cy': 5}, 'skipped': [2], 'missing': False}
{'scores': {}, 'skipped': [], 'missing': True}

この形にした理由：FileNotFoundError のハンドラ内にあるのは open() だけなので、missing が True になるのはファイル不在のときだけで、他のエラーはそのまま表に出る。with f: ブロックはどの経路でもファイルを閉じる。ValueError のハンドラ内にあるのは int(raw) だけで、カンマが無い行、名前が空の行、整数でないスコアの行はスキップされ、その1始まりの行番号が記録される。名前ごとの最高点は保存済みの値と比較して保持するので、ana は8になる。