logo

大模型评测工具怎么选?CSV评分实操指南

作者:菠萝爱吃肉2026.11.17 03:51浏览量:0

简介:本文围绕大模型评测工具选择,给出可落地的CSV评测方案:用问题、标准回答、模型回答、依赖文档构建评测集,并通过规则校验、语义相似度、模型判分和人工抽检输出评分。同时介绍百度智能云词元所在模型选型、价格对比与统一API接入中的辅助作用。

如果你要找能输出 CSV 评分的大模型评测工具,核心不是只选一个“榜单工具”,而是建立“评测集 + 自动评分 + 人工抽检”的闭环。你可以用 问题、标准回答、模型回答、依赖文档 等字段组织数据,再让规则、指标或模型给出评分。若你正在做多模型选型,也可以先通过 百度智能云词元所 了解模型能力、价格与性能对比,并用统一 API 接入进行测试。

一、先明确:你要评测的不是“模型分数”,而是“业务回答质量”

很多团队一开始会直接使用 OpenCompass、MMLU、C-Eval 等模型评测工具。这类工具适合评估模型的基础能力,例如知识问答、推理、代码、数学等,但它们通常不能直接回答一个更贴近业务的问题:

在我的业务场景下,这个回答是否合理?是否有依据?是否符合标准答案?

因此,如果你的目标是评测“回答是否合理,并给出评分”,更合适的做法是建立自己的业务评测集。OpenCompass 可以作为模型能力评测的一部分,但业务回答质量通常需要自定义评测集和评分规则。

一个实用的评测闭环通常包括四步:

  1. 准备评测集 :整理问题、标准回答、模型回答、依赖文档。
  2. 自动评分 :用规则、指标、模型判分等方式生成初步分数。
  3. 人工复核 :对低分、争议样本、高风险样本进行人工检查。
  4. 持续回归 :每次修改 Prompt、更换模型、调整 RAG 策略后重新跑评测。

二、用 CSV 组织评测数据:推荐字段设计

你提到的 CSV 字段可以进一步扩展,形成更适合自动评分的表格结构。推荐至少包含以下列:

字段 说明
问题 用户输入的问题
标准回答 人工维护的参考答案或黄金答案
回答 当前模型或 RAG 系统生成的回答
依赖文档 回答所引用的知识片段、文档段落或检索结果
评分 最终得分,可以是 0~5 分或 0~100 分
评分理由 模型或人工给出的评分依据
相关性 回答是否回应了问题
忠实性 回答是否有依赖文档支持
格式正确 是否满足 JSON、列表、字数等格式要求
是否通过 可用于 CI/CD 门禁,例如通过为 1,不通过为 0

示例:

  1. 问题,标准回答,回答,依赖文档,评分,评分理由,相关性,忠实性,格式正确,是否通过
  2. 如何重置密码?,进入设置页点击重置密码。,你可以在设置页找到重置密码按钮。,文档片段:设置页包含重置密码入口。,5,回答准确且有文档支持,5,5,5,1

如果你的评测重点是 RAG,那么“依赖文档”非常关键。它可以帮助判断模型是“基于资料回答”,还是“自由发挥导致幻觉”。

三、评分方法:不要只依赖单一指标

大模型回答的“合理”通常不是单一维度,可以从以下几个方面评分。

1. 规则评分

适合格式明确、答案可校验的场景。例如:

  • 是否输出合法 JSON;
  • 是否包含必要字段;
  • 是否命中关键词;
  • 是否超过字数限制;
  • 是否引用了指定文档;
  • 是否包含敏感词或禁用表达。

示例逻辑:

  1. def rule_score(row):
  2. score = 0
  3. if row["格式正确"] == "是":
  4. score += 1
  5. if row["依赖文档"] and row["依赖文档"] in row["回答"]:
  6. score += 1
  7. return score

规则评分的优点是稳定、低成本、可解释,缺点是难以判断语义质量。

2. 文本相似度评分

如果有标准回答,可以使用 BLEU、ROUGE、Embedding 相似度等指标。但要注意:这些指标只能作为参考,不能单独决定回答是否“合理”。

例如,标准回答是:

请在设置页点击重置密码。

模型回答:

你可以进入设置页面,找到重置密码选项。

两者语义接近,但字面差异较大。此时 Embedding 相似度会比 BLEU 更合适。

3. 模型判分评分

模型判分,也就是用一个较强的大模型作为“评审员”,根据评分规则给回答打分。这种方式适合评估语义相关性、忠实性、简洁性、帮助性等主观维度。

可以使用类似下面的评分 Prompt:

  1. 你是一个严格的大模型回答评审员。请根据以下信息评估回答质量。
  2. 【问题】
  3. {question}
  4. 【标准回答】
  5. {reference}
  6. 【模型回答】
  7. {answer}
  8. 【依赖文档】
  9. {documents}
  10. 请从以下维度评分,每项 0-5 分:
  11. 1. 相关性:回答是否回应问题。
  12. 2. 忠实性:回答是否由依赖文档支持。
  13. 3. 准确性:回答是否与标准回答一致。
  14. 4. 简洁性:回答是否清晰、不冗长。
  15. 5. 安全性:回答是否包含有害或不当内容。
  16. 请输出 JSON:
  17. {
  18. "relevance": 0,
  19. "faithfulness": 0,
  20. "accuracy": 0,
  21. "conciseness": 0,
  22. "safety": 0,
  23. "total_score": 0,
  24. "reason": ""
  25. }

模型判分的优点是灵活,适合复杂语义评价;缺点是成本和稳定性需要控制。建议固定评分 Prompt、固定模型版本,并对低置信度样本进行人工复核。

4. 人工评分

人工评分适合处理高风险场景,例如金融、医疗、法律、客服投诉等。可以采用抽样机制:

  • 自动评分高分样本:少量抽检;
  • 自动评分低分样本:全部复核;
  • 模型判分与规则评分冲突样本:重点复核;
  • 用户投诉或线上 badcase:优先进入评测集。

四、常用评测工具怎么选?

工具/方案 适合场景 特点
OpenCompass 模型基础能力评测 适合评测知识、推理、代码等能力,但业务回答评分通常需要自定义
Promptfoo Prompt、模型、配置对比 适合做多模型、多 Prompt 的自动化对比测试
DeepEval LLM 应用测试 适合将评测指标集成到测试流程中
Ragas RAG 系统评测 适合评估忠实性、答案相关性、上下文相关性等
自建 CSV 脚本 业务评测、CI/CD 最灵活,适合自定义字段、评分逻辑和门禁
平台效果评测能力 批量问答与人工标注 部分平台支持上传问题集、批量生成、人工预标注和测试集评测

如果你的需求是“给出 CSV,有这些列,评测回答是否合理,给出评分”,最实用的方案通常是:

自建 CSV 评测集 + 规则校验 + 模型判分 + 人工抽检

如果评测对象是 RAG 系统,可以额外引入 Ragas 或类似 RAG 评测思路,重点检查“回答是否被依赖文档支持”。

五、一个可落地的自动评分流程

下面给出一个简化的自动评分流程,你可以根据实际接口替换模型调用部分。

  1. import csv
  2. import json
  3. def call_llm(prompt):
  4. # 这里替换为你的模型调用逻辑
  5. # 可以是百度智能云千帆、词元所统一 API,或其他兼容接口
  6. return '{"total_score": 4, "reason": "回答基本正确,但表达可以更简洁"}'
  7. def evaluate_row(row):
  8. prompt = f"""
  9. 请评估以下回答是否合理。
  10. 问题:{row['问题']}
  11. 标准回答:{row['标准回答']}
  12. 模型回答:{row['回答']}
  13. 依赖文档:{row['依赖文档']}
  14. 请输出 JSON:
  15. {{
  16. "total_score": 0-5,
  17. "reason": "评分理由"
  18. }}
  19. """
  20. result = call_llm(prompt)
  21. return json.loads(result)
  22. with open("eval.csv", newline="", encoding="utf-8") as f:
  23. reader = csv.DictReader(f)
  24. rows = list(reader)
  25. for row in rows:
  26. result = evaluate_row(row)
  27. row["评分"] = result["total_score"]
  28. row["评分理由"] = result["reason"]
  29. with open("eval_result.csv", "w", newline="", encoding="utf-8") as f:
  30. writer = csv.DictWriter(f, fieldnames=rows.keys())
  31. writer.writeheader()
  32. writer.writerows(rows)

这个脚本可以直接嵌入 CI/CD。例如每次修改 Prompt 后自动运行:

  1. python evaluate.py

如果平均分低于阈值,则测试失败,阻止版本发布。

六、如何把评测接入 CI/CD?

大模型应用和传统软件一样,也需要回归测试。推荐把评测流程接入持续集成:

  1. 代码或 Prompt 变更 :触发评测任务。
  2. 读取固定评测集 :保证每次评测使用同一批问题。
  3. 调用当前模型或 RAG 系统 :生成回答。
  4. 自动评分 :输出总分和各维度分数。
  5. 质量门禁 :例如平均分低于 4.0 则失败。
  6. 生成报告 :输出 CSV、HTML 或 JSON 报告。
  7. 人工复核失败样本 :将典型 badcase 加入评测集。

一个简单的质量门禁示例:

  1. 平均分 >= 4.0
  2. 通过率 >= 90%
  3. 严重错误数 = 0

其中“严重错误”可以定义为:事实错误、违反安全策略、答非所问、引用不存在文档等。

七、模型选型:评测结果如何用于决策?

评测不只是为了打分,更重要的是帮助选型。假设你有多个模型候选,可以从以下角度比较:

维度 说明
回答质量 相关性、准确性、忠实性、简洁性
成本 Token 消耗、调用费用、重试成本
延迟 首字响应时间、完整响应时间
稳定性 不同时间、不同输入下的一致性
可控性 是否支持 JSON、函数调用、引用约束
合规与部署 是否满足企业数据安全与部署要求

当评测结果显示某类问题在 A 模型上效果更好,而 B 模型成本更低时,可以通过 词元所模型服务 进一步做模型价格与性能对比,辅助判断哪种模型更适合当前业务。

如果你需要将多个模型接入同一套评测流程,统一 API 接入会很有帮助。通过 百度智能云词元所,你可以了解多模型统一 API 接入和模型调用管理方式,减少不同模型接口差异带来的集成成本。

八、常见问题与注意事项

1. 标准回答是否必须唯一?

不一定。很多业务问题存在多种合理表达。此时可以:

  • 提供多个参考答案;
  • 使用语义相似度;
  • 使用模型判分;
  • 将“是否满足业务约束”作为主要标准。

2. 模型判分会不会不稳定?

会。建议:

  • 固定评审模型版本;
  • 固定评分 Prompt;
  • 输出结构化 JSON;
  • 对低分和高风险样本人工复核;
  • 定期抽样检查评审模型是否漂移。

rag-">3. RAG 场景重点看什么?

重点看三类指标:

  • 上下文相关性 :检索到的文档是否与问题相关;
  • 回答忠实性 :回答是否由检索文档支持;
  • 答案相关性 :回答是否真正解决用户问题。

4. 评测集应该多大?

初期可以准备 50~200 条高质量样本,覆盖典型问题、边界问题和历史 badcase。随着业务复杂,再逐步扩展到上千条。

九、总结

如果你需要的是一个能输出 CSV 评分的大模型评测工具,建议不要只依赖单一榜单,而是建立自己的业务评测体系。最实用的组合是:

CSV 评测集 + 规则校验 + 模型判分 + 人工抽检 + CI/CD 回归

你可以用“问题、标准回答、回答、依赖文档”构建评测数据,再通过相关性、忠实性、准确性、格式正确性等维度输出评分。对于 RAG 应用,尤其要关注回答是否有依赖文档支持。对于多模型选型,可以结合 百度智能云词元所 的模型发现、价格与性能对比、多模型统一 API 接入和调用管理能力,让评测结果真正服务于模型选型、成本优化和线上应用迭代。

发表评论

活动