DeepEval

给大模型应用写单元测试的框架

它是什么

把软件测试思路带进大模型应用的开源框架,可以像写单元测试一样为输出定义断言与指标,并集成到持续集成流程里。

亮点

  • 像写单元测试一样定义断言与指标
  • 可集成进持续集成流程
  • 内置多种常见评测指标
  • 支持自定义评测逻辑

怎么用

安装后编写测试用例,运行命令即可得到通过率与各项指标。

协议说明

采用 Apache-2.0 协议,商用与二次开发前建议先读一遍条款,尤其是涉及对外提供服务的场景。