为什么这事重要到要单独讲一天？因为 Prompt 有三个"要命"的特点：

• 它对结果影响巨大：同一个模型，Prompt 差一句，成功率可能从 60% 掉到 30%。
• 它很脆：你以为"顺手优化"的一句话，可能悄悄破坏了另一类问题的表现。
• 它会被改无数次：一个真实项目里，一条核心 Prompt 迭代几十版很正常。

所以专业做法是：把 Prompt 当代码一样，纳入版本控制。改动有记录、能 diff（看两版差在哪）、能回退。这正是面试时"你怎么迭代 Prompt 的？"这类问题想听到的答案。

最简单可行的做法：给每一版 Prompt 存一个文件，文件名带版本号。比如建一个 prompts/ 文件夹：

prompts/
├── summarize_v1.md      # 第 1 版：最初的总结提示词
├── summarize_v2.md      # 第 2 版：加了"分点输出"
└── summarize_v3.md      # 第 3 版：又加了"控制在 100 字内"

代码里不再写死 Prompt，而是读文件：

# 读取指定版本的提示词文件，返回里面的文字
def load_prompt(name: str) -> str:
    # open 打开文件；encoding="utf-8" 保证中文不乱码
    with open(f"prompts/{name}.md", encoding="utf-8") as f:
        return f.read()          # read() 读出全部内容为字符串

# 想用哪一版，改这一行就行，代码逻辑一个字不用动
system_prompt = load_prompt("summarize_v2")
print(system_prompt)             # 打印出来确认读对了

文件里这样写（{...} 是占位符，先空着）：

# prompts/summarize_v2.md 文件的内容大概长这样：
# 你是一名编辑，请把下面的文章总结成 3 个要点，每点一句话。
# 文章：
# {article}

代码里用字符串的 .format() 把真实文章填进去：

template = load_prompt("summarize_v2")     # 读出带 {article} 的模板
real_article = "今天 A 公司发布了新款手机，售价 3999 元……"

# .format 会把模板里的 {article} 替换成 real_article 的内容
prompt = template.format(article=real_article)
print(prompt)   # 现在 {article} 已经被真实文章填满了

A/B 测试的三个要素，缺一不可：

• 同一批题目：拿完全一样的一组输入分别喂给 A、B（不能 A 用简单题、B 用难题）。
• 同一把尺子：用同一个评判标准给两版打分（下一讲讲怎么打）。
• 只变一处：A 和 B 最好只差你要验证的那一点，否则分出高低也不知道是哪句话的功劳。

下面这段代码演示"骨架"（模型调用先用假函数占位，你把 ask_llm 换成 Day 11 学的真实调用即可）：

# ---- 1. 准备一个小测试集：每道题 = 输入 + 我们期望里应出现的关键词 ----
test_set = [
    {"article": "A 公司发布新手机，售价 3999 元", "must": ["手机", "3999"]},
    {"article": "B 队 3:0 战胜 C 队夺冠",          "must": ["夺冠", "3:0"]},
]

# ---- 2. 读两个版本的模板 ----
prompt_A = load_prompt("summarize_v2")
prompt_B = load_prompt("summarize_v3")

# ---- 3. 一个简单的"打分尺子"：期望关键词命中越多分越高 ----
def score(answer: str, must: list) -> int:
    # sum(...) 对列表里每个 True 计 1 分；kw in answer 判断关键词是否出现
    return sum(kw in answer for kw in must)

# ---- 4. 让某一版 Prompt 跑完整个测试集，返回总分 ----
def run(prompt_template) -> int:
    total = 0
    for case in test_set:
        prompt = prompt_template.format(article=case["article"])
        answer = ask_llm(prompt)          # 调模型（Day11 的真实调用换到这里）
        total += score(answer, case["must"])
    return total

print("A 版总分:", run(prompt_A))
print("B 版总分:", run(prompt_B))          # 分高的那版胜出

没有万能尺子，但常用的"尺子"就这么几把，按任务挑：

更关键的一步：把每次实验记成账。别跑完就忘，攒成一张表，你会越改越有方向：

import csv, datetime
# 把一次 A/B 结果追加进 experiments.csv（"a" = append 追加不覆盖）
def log_result(version, total, note):
    with open("experiments.csv", "a", newline="", encoding="utf-8") as f:
        w = csv.writer(f)
        # 记：时间、版本号、得分、这版改了啥
        w.writerow([datetime.date.today(), version, total, note])

log_result("summarize_v3", 4, "加了'控制100字内'")   # 一行账

✋ 动手（约 10 分钟）

把你 Day 16-17 写过的任意一个 Prompt，做成"可对比两版"的迷你实验：

# 1. 建目录，存两版提示词（v1 原版，v2 你改一句话）
mkdir prompts
echo "把下面文章总结成3点：{article}" > prompts/sum_v1.md
echo "把下面文章总结成3个要点，每点不超过15字：{article}" > prompts/sum_v2.md

# 2. 用 git 把它管起来（Day06 学过），以后每次改都 commit 一下
git init && git add prompts && git commit -m "prompt v1 v2"

然后照 L05 的代码，准备 3-5 道你熟悉的测试题，两版各跑一遍、打分、比总分，把结果 log_result 记进 csv。体会一次"用数据决定用哪版"的感觉。