# 已知每题的"标准正确段落 id"，和系统检索返回的 top-k id
def hit_rate(retrieved, relevant):
    # top-k 里只要碰到一个正确的，就算命中(1)，否则 0
    return 1 if any(r in relevant for r in retrieved) else 0

def precision_at_k(retrieved, relevant):
    # 命中数 / 取回总数
    hit = sum(1 for r in retrieved if r in relevant)
    return hit / len(retrieved)

retrieved = ["d3", "d1", "d9"]   # 系统捞回的 top-3
relevant  = {"d1", "d5"}         # 标准答案：正确段是 d1、d5
print(hit_rate(retrieved, relevant))       # → 1  （里面有 d1，命中）
print(precision_at_k(retrieved, relevant)) # → 0.33（3 个里只有 1 个对）

def reciprocal_rank(retrieved, relevant):
    # 找第一个正确段的名次(从1数)，返回其倒数；一个都没有则 0
    for i, r in enumerate(retrieved, start=1):
        if r in relevant:
            return 1 / i
    return 0

print(reciprocal_rank(["d1", "d3"], {"d1"}))   # → 1.0  正确段排第1，满分
print(reciprocal_rank(["d3", "d1"], {"d1"}))   # → 0.5  正确段排第2
print(reciprocal_rank(["d3", "d9"], {"d1"}))   # → 0    没捞到

# 对整个测试集：把每题的 rr 求平均，就是 MRR
rrs = [1.0, 0.5, 0.0, 1.0]
print("MRR =", sum(rrs) / len(rrs))            # → 0.625

其中 LlamaIndex 是最主流的 RAG 框架之一,它把"切分→嵌入→检索→评测"打包得很顺手,评测模块直接给你 hit rate/MRR 和忠实度/相关度。想把今天的概念落到能跑的代码、系统吃透 RAG 全链路,去看这套深潜教程:

✋ 动手 10 分钟：给自己的检索器打个分

不用装任何库。把 L03/L04 的函数拼起来,给 Day 25 的迷你检索器造 3 道题的"标准答案",算出 hit rate 和 MRR:

# 3 道测试题：每题(系统返回的top-k, 标准正确段集合)
cases = [
    (["d1", "d3", "d9"], {"d1"}),      # 正确段排第1
    (["d5", "d2", "d1"], {"d1"}),      # 正确段排第3
    (["d7", "d8", "d9"], {"d1"}),      # 没捞到
]
def rr(ret, rel):
    for i, r in enumerate(ret, 1):
        if r in rel: return 1 / i
    return 0
def hit(ret, rel):
    return 1 if any(r in rel for r in ret) else 0

hr  = sum(hit(r, g) for r, g in cases) / len(cases)
mrr = sum(rr(r, g)  for r, g in cases) / len(cases)
print(f"hit rate = {hr:.2f}")   # → 0.67（3题命中2题）
print(f"MRR      = {mrr:.2f}")  # → 0.44
# 试试：把第2题的 d1 挪到第1位，再看 MRR 涨了没——这就是"优化后看分数"