4ed945c1de
- evals/check/GUIDELINES.md：请 Fable 审查 v0.1 后修改。响应方式按「文件 × 类别」记（逐条 / 默认接受 / 证明材料（投标时、中标后）/ 文件要在 / 平台内应答），10 份招标文件逐份核对；规矩投标文件靠构造保证 （表格脚本生成，LLM 只写散文和改写），对全部要求响应，问题只挂人工复核过的标注单元；注入分单点 / 连续块 / 全局三种粒度、带不带标志词、两档密度；留出集注入词库和 C 风格说明开工时封存；评分补只检索 基线、按单元去重、端到端召回。 - evals/check/split.json：开发集 S01 S02 S04 S05 S07 S08 S10，留出集 S03 S06 S09 + 真实国动投标文件。 - evals/check/render.py、run_check.py。 - m3-plan.md：新增待定事项 C12（每条要求怎么才算「响应了」）。 Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
6 lines
385 B
JSON
6 lines
385 B
JSON
{
|
||
"_comment": "查标评测集划分（GUIDELINES §3）。2026-11-04 开工前选定，之后不改。留出集只在第 3 步代码冻结后跑一次。",
|
||
"dev": {"tenders": ["S01", "S02", "S04", "S05", "S07", "S08", "S10"], "styles": ["A", "B"]},
|
||
"holdout": {"tenders": ["S03", "S06", "S09"], "styles": ["B", "C"], "real": ["国动小程序投标文件（用户提供）"]}
|
||
}
|