# rerank 用 cross-encoder：问题和每个候选"配对"后打分
from sentence_transformers import CrossEncoder
reranker = CrossEncoder("cross-encoder/ms-marco-MiniLM-L-6-v2")  # 一个开源精排模型

query = "怎么申请年假？"
candidates = ["年假的历史由来", "请假系统操作步骤", "食堂菜单"]  # 来自①召回

# 把 (问题, 候选) 一对对喂进去，得到相关性分数
pairs = [[query, c] for c in candidates]
scores = reranker.predict(pairs)                 # 每对一个分，越高越相关

ranked = sorted(zip(candidates, scores), key=lambda x: x[1], reverse=True)
for text, s in ranked:
    print(round(float(s), 2), text)
# → "请假系统操作步骤" 被精排提到第 1（粗排里它才第 2）

from rank_bm25 import BM25Okapi   # pip install rank-bm25

# 文档先分词（中文可用 jieba，这里用英文空格分词演示原理）
docs = ["error code E-404 means not found",
        "how to apply for annual leave",
        "the canteen menu today"]
tokenized = [d.split() for d in docs]        # 切成词列表
bm25 = BM25Okapi(tokenized)                  # 建索引

query = "E-404".split()
scores = bm25.get_scores(query)              # 给每段打关键词匹配分
for d, s in sorted(zip(docs, scores), key=lambda x: x[1], reverse=True):
    print(round(s, 2), d)
# → 含 "E-404" 的那段分最高，精确命中

# RRF 融合：一段在某榜排名 r，贡献 1/(k+r) 分；两榜相加
def rrf(rank_lists, k=60):        # rank_lists = [向量榜, BM25榜]，每个是文档id的有序列表
    scores = {}
    for lst in rank_lists:
        for rank, doc_id in enumerate(lst, start=1):   # rank 从 1 开始
            scores[doc_id] = scores.get(doc_id, 0) + 1 / (k + rank)
    return sorted(scores, key=scores.get, reverse=True)  # 合计分降序

vec_rank  = ["A", "B", "C"]   # 向量榜（A最像）
bm25_rank = ["B", "C", "A"]   # BM25榜（B关键词最匹配）
print(rrf([vec_rank, bm25_rank]))   # → 两榜都靠前的会排在最前

✋ 动手 10 分钟：跑一次 BM25 + 感受精排

装库,把 L05 的 BM25 例子跑通,再自己加两段文档、换几个含"精确词"的查询,观察 BM25 是不是比"泛泛语义"更能锁定关键词:

python -m venv .venv && source .venv/bin/activate   # 建并进车间
pip install rank-bm25                                # 关键词检索库
# 新建 day26.py，粘入 L05 代码，运行：
python day26.py

进阶(选做):再 pip install sentence-transformers,把 L03 的 rerank 也跑一遍,亲眼看它把"粗排第 2"提到第 1。