跳转至

基准测试(Benchmark)

配置基准数据集以评估 Datus Agent 的 SQL 生成效果,用于准确性度量、配置对比与迭代验证。

支持的数据集

  • BIRD-DEV:复杂 SQL 场景的综合评测
  • Spider2:多数据库高级评测
  • Semantic Layer:业务指标与语义理解评测

内置基准测试

bird_dev、spider2 和 semantic_layer 的路径固定在 {agent.home}/benchmark 下,不需要也不能在 agent.yml 中覆盖其 benchmark_path。运行 Spider2 前,请单独下载数据。

自定义基准测试可在 agent.benchmark 中配置。更多用法参见基准测试手册。