bid-doctor

eric/bid-doctor

Fork 0

Commit Graph

Author	SHA1	Message	Date
YANG JIANKUAN	1d50faccbe	fix(evals): 「暂不支持」只套功能类要求；伞状单元和条件性要求不挂问题；低密度投标文件；run_check 加 --v1 对比开关 Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>	2026-11-04 13:23:16 +08:00
YANG JIANKUAN	a07663cbdb	feat(evals): 查标评测集生成器、注入、评分和只检索基线 - build.py：从「招标文件档案」和读标清单生成规矩投标文件稿；技术参数按 op / value / unit 算满足的值，分项报价按分项上限比例分摊，落款日期取截止日前 3 天，偏离表按格式表头决定列（含设备名称列），读标漏抽的技术参数也补上响应；routes 支持「+」组合和 prose 散文响应。 - mutate.py：按词库注入要求项问题（单点 / 连续块，带不带标志词）和规则问题，写响应清单；符合性条件响应表的问题按表级记一个。 - score.py：按单元去重、类型族比对、读标漏抽单列、端到端召回、无法对照单列。 - run_check.py：加只检索不调模型的基线；render.py：扫描件按最后一次出现定位。 - vocab-dev.json：开发集注入词库（留出集的另行封存，不进 git）。 Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>	2026-11-04 12:18:48 +08:00
YANG JIANKUAN	4ed945c1de	docs(evals): 查标评测集规范 v0.2、留出集划分；渲染和离线查标脚本；新增待定事项 C12 - evals/check/GUIDELINES.md：请 Fable 审查 v0.1 后修改。响应方式按「文件 × 类别」记（逐条 / 默认接受 / 证明材料（投标时、中标后）/ 文件要在 / 平台内应答），10 份招标文件逐份核对；规矩投标文件靠构造保证（表格脚本生成，LLM 只写散文和改写），对全部要求响应，问题只挂人工复核过的标注单元；注入分单点 / 连续块 / 全局三种粒度、带不带标志词、两档密度；留出集注入词库和 C 风格说明开工时封存；评分补只检索基线、按单元去重、端到端召回。 - evals/check/split.json：开发集 S01 S02 S04 S05 S07 S08 S10，留出集 S03 S06 S09 + 真实国动投标文件。 - evals/check/render.py、run_check.py。 - m3-plan.md：新增待定事项 C12（每条要求怎么才算「响应了」）。 Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>	2026-11-04 12:02:40 +08:00

Author

SHA1

Message

Date

YANG JIANKUAN

1d50faccbe

fix(evals): 「暂不支持」只套功能类要求；伞状单元和条件性要求不挂问题；低密度投标文件；run_check 加 --v1 对比开关

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>

2026-11-04 13:23:16 +08:00

YANG JIANKUAN

a07663cbdb

feat(evals): 查标评测集生成器、注入、评分和只检索基线

- build.py：从「招标文件档案」和读标清单生成规矩投标文件稿；技术参数按 op / value / unit 算满足的值，
  分项报价按分项上限比例分摊，落款日期取截止日前 3 天，偏离表按格式表头决定列（含设备名称列），
  读标漏抽的技术参数也补上响应；routes 支持「+」组合和 prose 散文响应。
- mutate.py：按词库注入要求项问题（单点 / 连续块，带不带标志词）和规则问题，写响应清单；
  符合性条件响应表的问题按表级记一个。
- score.py：按单元去重、类型族比对、读标漏抽单列、端到端召回、无法对照单列。
- run_check.py：加只检索不调模型的基线；render.py：扫描件按最后一次出现定位。
- vocab-dev.json：开发集注入词库（留出集的另行封存，不进 git）。

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>

2026-11-04 12:18:48 +08:00

YANG JIANKUAN

4ed945c1de

docs(evals): 查标评测集规范 v0.2、留出集划分；渲染和离线查标脚本；新增待定事项 C12

- evals/check/GUIDELINES.md：请 Fable 审查 v0.1 后修改。响应方式按「文件 × 类别」记（逐条 / 默认接受 /
  证明材料（投标时、中标后）/ 文件要在 / 平台内应答），10 份招标文件逐份核对；规矩投标文件靠构造保证
  （表格脚本生成，LLM 只写散文和改写），对全部要求响应，问题只挂人工复核过的标注单元；注入分单点 /
  连续块 / 全局三种粒度、带不带标志词、两档密度；留出集注入词库和 C 风格说明开工时封存；评分补只检索
  基线、按单元去重、端到端召回。
- evals/check/split.json：开发集 S01 S02 S04 S05 S07 S08 S10，留出集 S03 S06 S09 + 真实国动投标文件。
- evals/check/render.py、run_check.py。
- m3-plan.md：新增待定事项 C12（每条要求怎么才算「响应了」）。

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>

2026-11-04 12:02:40 +08:00

3 Commits