# 降级链：主模型挂了退备用模型，再挂就给兜底话术。绝不让异常冒到用户面前
def ask_with_fallback(question):
    try:
        return call_main_model(question)      # ① 主方案：最强的模型
    except Exception:
        pass
    try:
        return call_cheap_model(question)     # ② 备用：便宜/更稳的小模型
    except Exception:
        pass
    return "服务暂时繁忙，请稍后再试，或点此转人工。"   # ③ 兜底：始终有话可回

# 危险动作分级：高风险工具执行前必须人工确认
DANGEROUS = {"delete_db", "refund", "send_bulk_email"}   # 高风险工具清单

def run_tool(name, args):
    if name in DANGEROUS:
        # 不可逆/高风险：先暂停，把意图摆给人看，等人点"批准"才继续
        print(f"⚠️ Agent 想执行【{name}】，参数：{args}")
        if input("批准吗？(yes/no) ") != "yes":
            return {"status": "denied", "msg": "人工拒绝，已取消"}   # 拦下，安全
    return really_run(name, args)   # 低风险 或 已获批准，才真正执行

# 预算闸：给一次任务设步数和 token 双上限，到顶就跳闸
class BudgetGuard:
    def __init__(self, max_steps=10, max_tokens=50_000):
        self.max_steps, self.max_tokens = max_steps, max_tokens
        self.steps = self.tokens = 0
    def charge(self, used_tokens):        # 每走一步/每次调用后记账
        self.steps += 1
        self.tokens += used_tokens
        if self.steps > self.max_steps or self.tokens > self.max_tokens:
            raise RuntimeError("💸 预算超限，跳闸停止")   # 到顶立即刹车

guard = BudgetGuard()
# 在 Agent 主循环里，每步都 guard.charge(本步token)；超了就抛错、走降级兜底

✋ 动手 10 分钟：给一个假 Agent 装上三道闸

把下面的代码存成 guardrails.py 跑一跑，亲手体验"降级 + 审批 + 预算闸"如何联手让系统出错也不闯祸：

import random
DANGEROUS = {"refund"}
budget = {"steps": 0, "max": 5}          # 预算闸：最多 5 步

def call_model(q):
    if random.random() < 0.5:            # 模拟一半概率主模型挂掉
        raise Exception("主模型超时")
    return f"[主模型答] {q}"

def ask(q):
    budget["steps"] += 1
    if budget["steps"] > budget["max"]:
        return "💸 预算跳闸，停止"          # 预算闸
    try:
        return call_model(q)             # 主方案
    except Exception:
        return f"[备用/兜底] 服务繁忙，已降级回答：{q}"   # 降级不崩

def run_tool(name):
    if name in DANGEROUS:                # 危险动作先审批
        return f"⚠️ 【{name}】需人工批准（此处应暂停等确认）"
    return f"已执行 {name}"

for i in range(7):                        # 故意跑 7 次，看第 6 次起预算跳闸
    print(i, ask("退款要多久"))
print(run_tool("refund"))                 # 看危险动作被拦下要审批

多跑几次，观察三件事：① 主模型挂掉时是否总有兜底(降级)；② 跑到第 6 次是否跳闸(预算闸)；③ refund 是否被拦去审批。你刚给一个 Agent 装上了生产级的"安全带"。