docs(evals): 查标评测集规范 v0.2、留出集划分;渲染和离线查标脚本;新增待定事项 C12
- evals/check/GUIDELINES.md:请 Fable 审查 v0.1 后修改。响应方式按「文件 × 类别」记(逐条 / 默认接受 / 证明材料(投标时、中标后)/ 文件要在 / 平台内应答),10 份招标文件逐份核对;规矩投标文件靠构造保证 (表格脚本生成,LLM 只写散文和改写),对全部要求响应,问题只挂人工复核过的标注单元;注入分单点 / 连续块 / 全局三种粒度、带不带标志词、两档密度;留出集注入词库和 C 风格说明开工时封存;评分补只检索 基线、按单元去重、端到端召回。 - evals/check/split.json:开发集 S01 S02 S04 S05 S07 S08 S10,留出集 S03 S06 S09 + 真实国动投标文件。 - evals/check/render.py、run_check.py。 - m3-plan.md:新增待定事项 C12(每条要求怎么才算「响应了」)。 Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
5
evals/check/split.json
Normal file
5
evals/check/split.json
Normal file
@@ -0,0 +1,5 @@
|
||||
{
|
||||
"_comment": "查标评测集划分(GUIDELINES §3)。2026-11-04 开工前选定,之后不改。留出集只在第 3 步代码冻结后跑一次。",
|
||||
"dev": {"tenders": ["S01", "S02", "S04", "S05", "S07", "S08", "S10"], "styles": ["A", "B"]},
|
||||
"holdout": {"tenders": ["S03", "S06", "S09"], "styles": ["B", "C"], "real": ["国动小程序投标文件(用户提供)"]}
|
||||
}
|
||||
Reference in New Issue
Block a user