# golden set 常存成一个 jsonl / yaml 文件，随代码一起进 Git。这里用 Python 列表示意
GOLDEN = [
    {"id": "refund_time", "q": "退款要多久到账",
     "must_include": ["3-5 个工作日"], "note": "高频问题，必答对"},
    {"id": "invoice", "q": "能开发票吗",
     "must_include": ["可以", "发票"], "note": "别漏"},
    {"id": "no_answer", "q": "你们卖不卖火箭",
     "must_include": ["抱歉", "无法"], "note": "答不了要老实说，不能瞎编"},
]
# 每条都有稳定 id（方便追踪某题历史表现）+ 验收标准 + 备注（为什么收录）

# eval_gate.py —— 评测脚本：跑 golden set，不达标就"报错退出"让 CI 变红
import sys
score = run_eval(GOLDEN)          # 假设返回完成率，比如 0.86
THRESHOLD = 0.90                  # 及格线（质检员心里那条线）
print(f"完成率 {score:.0%}，阈值 {THRESHOLD:.0%}")
if score < THRESHOLD:
    print("❌ 低于阈值，拦住合并")
    sys.exit(1)                   # 关键：退出码非 0 = 失败，CI 就报红
print("✅ 达标，放行")
sys.exit(0)                       # 退出码 0 = 成功

# .github/workflows/eval.yml —— 告诉 GitHub 每次 PR 自动跑上面的脚本
name: agent-eval
on: [pull_request]                # 触发时机：有人发起 PR
jobs:
  eval:
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@v4          # 拉下代码
      - uses: actions/setup-python@v5       # 装 Python
        with: { python-version: "3.11" }
      - run: pip install -r requirements.txt
      - run: python eval_gate.py            # 跑评测；它 exit 1 时本步失败 → PR 被拦

✋ 动手 10 分钟：搭一个会"拦"的迷你闸门

把 L05 的 eval_gate.py 落地成能跑的版本(先用假 run_eval 演示"拦/放"两种结局)：

import sys, random
GOLDEN = ["refund_time", "invoice", "no_answer"]   # 你的 golden set（示意）
def run_eval(golden):
    # 真实里这里跑 Agent + 判分；这里随机模拟一个完成率，好体验"拦/放"
    return random.choice([0.86, 0.93])

score, THRESHOLD = run_eval(GOLDEN), 0.90
print(f"完成率 {score:.0%}，阈值 {THRESHOLD:.0%}")
sys.exit(0 if score >= THRESHOLD else 1)           # 达标 exit 0，否则 exit 1

python eval_gate.py; echo "退出码=$?"   # 多跑几次：看 0.86 那次 退出码=1（会被 CI 拦）

观察 $?(上一条命令的退出码)：0 表示放行、1 表示拦下。这正是 CI 判断"该不该拦你合并"的唯一依据。进阶：把 L05 的 eval.yml 放进你 Day 06 建的 GitHub 仓库 .github/workflows/，发个 PR，亲眼看它自动跑起来。