配置并执行评测
评测任务用于保存一套可重复使用的评测配置,包括用例集、执行岗位、模型和评测指标等。每执行一次任务,系统都会生成一条新的执行记录,方便查看本次运行结果。

新建任务
填写任务名称,选择要跑的用例集与执行岗位。
选择会话模式
「独立会话」让每条用例各自起一个新会话,互不干扰;「会话复用」让用例在同一会话内连续提问,适合测试连续追问和多轮上下文。
选择模型与并发
分别指定执行模型(岗位回答用)与评测模型(打分用)。执行并发数决定同时跑多少条用例,评测并发数决定同时评多少条——数值越大越快,但占用更多资源。
勾选评测指标
勾选这一次参与评测的指标,已有指标默认全选,按需取消即可;需要周期性回归时打开「定时设置」,按所选周期自动触发执行与评测。
任务列表的行操作支持「执行」(只跑不评)与「执行+评测」(跑完直接打分),也可以编辑或删除配置。
在「执行记录」中,可以查看每次执行的状态、进度、耗时和开始时间。页面顶部会汇总批次总数,以及执行中、评测中、已完成和失败的数量。点击具体记录,可进一步查看评测报告;已完成的记录也支持重新评测。
✓
第一次跑建议先用小用例集 + 低并发验证链路通不通,确认结果符合预期后再放开并发跑全量。
