Coze Loop 开源实战 · P04 / 共 8 课 · ≈30 min · 跟做版

P04 · 实验:五步向导从创建到启动

跟着向导把「评测集 +(可选)Prompt +(可选)评估器」组装成一次实验。 截图红框为操作重点。上级:总目录

🎯 本课目标(先读再动手)

  • 理解实验 = 一次完整考试:评测集逐行跑对象,再用评估器打分。
  • 走完五步向导:基本信息 → 评测集 → 对象 → 评估器 → 确认启动。
  • 启动后能在列表/详情看到运行状态或行级结果。
学完怎样算过关:实验列表出现新记录;详情里能看到行级输出或明确状态;你知道哪一步是必选(评测集)、哪一步可跳过。
图上红色圆圈数字 1、2、3…表示本步操作顺序,请严格按数字从小到大点。数字旁短文是该步要点。做完看每步绿色验收;先读本课目标再动手。
1

打开实验并点新建

目的:进入「考试场」列表,并打开创建实验的五步向导。

作用:实验把前面的评测集、Prompt、评估器组装成一次可重复的批量评测任务。本步只负责进门并认识进度条。

  1. 侧栏点 实验
  2. 点右上角 新建 / 创建实验
  3. 进入五步向导页,先看顶部进度条
实验列表

图:按 1→2:侧栏点「实验」 → 右上角「新建实验」。

向导

图:按 1→2:看五步进度条 → 填步骤1基本信息。

✅ 验收:能看到步骤条(基本信息 → 评测集 → …)。
2

步骤1:基本信息

目的:给这次实验起名,方便在列表里识别(谁跑的、测什么)。

作用:名称会出现在实验列表与详情标题。起名清晰(如「问候实验-Claude」)方便以后对比多次实验。

  1. 填写实验名称,例如 问候实验-Claude
  2. 描述可选
  3. 点右下角 下一步
基本信息

图:按 1→2:填写实验名称 → 点「下一步」。

✅ 验收:进度条高亮移到第 2 步。
3

步骤2:选择评测集(必选)

目的:指定这次考试用哪张「试卷」(P02 建的评测集)。

作用:评测集是实验的必选项。选中后,系统会按该表的每一行去调用评测对象;空表或选错表会导致结果无意义。

  1. 在下拉 / 列表中选择你在 P02 创建的评测集
  2. 若有版本,选择最新版本
  3. 确认行数 > 0(空集会导致实验无意义)
  4. 下一步
选评测集

图:数字 1:选择评测集(必选)。

已选中

图:数字 1:确认已选中。看不到?回 P02 确认已创建。

✅ 验收:评测集名称显示在表单中,不是「请选择」。
4

步骤3~4:评测对象与评估器(可跳过)

目的:指定「谁来答题」(评测对象,如 Prompt)以及「谁来阅卷」(评估器)。

作用:选 Prompt 才会真正调用 Claude 生成输出;绑评估器才会自动打分。两者都可跳过以先跑通流程,但跳过则缺少对应能力(无模型输出或无自动分)。

  1. 步骤3 评测对象:选择 Prompt(P01 创建的),或按界面提示跳过
  2. 若选 Prompt,通常还要选版本
  3. 步骤4 评估器:勾选 P03 的评估器,或跳过
  4. 每步点 下一步
评测对象

图:数字 1:选评测对象(Prompt)或跳过;选 Prompt 才会调 Claude。

评估器

图:数字 1:选评估器或跳过;可多选。

✅ 验收:到达确认页(步骤5)。
5

步骤5:确认并启动

目的:最后核对配置无误后,真正提交并启动这次批量评测任务。

作用:启动后平台按行执行:调对象 →(可选)评估 → 写结果。你可在详情看每行输出与汇总图表;这是「评测闭环」的终点。

  1. 核对:名称、评测集、对象、评估器
  2. 启动实验 / 创建 / 提交(按钮文案因版本可能不同)
  3. 等待任务从「运行中」变为完成
  4. 进实验详情:表格看每行输出;Chart 看汇总
确认启动

图:按 1→2:核对配置 → 点「启动实验」。行数多会跑一会儿。

✅ 验收:实验列表出现新记录;详情里能看到行级结果或状态。
启动按钮点不了 / 失败 评测集为空;Prompt 未提交版本;模型 Key 无效;评估器配置不完整。先回 P01 确认调试能跑通。