docs(evals): S01–S10 标注集 v1、评测工具和评测报告

- evals/gold：1,887 个标注单元（AI 标注、逐条裁定，未经人工复核），规范见 GUIDELINES.md
- prepare / run_all / score / gold：导出文字层、批量抽取、打分、标注定位
- docs/architecture/extract-eval.md：修复前后的结果（三项目标全部达标）和剩余问题
- decisions.md 记 M1（只用 Flash）和 Q1–Q4；架构 §13 SK13；AGENTS.md 进度

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>

docs/architecture/architecture.md

@@ -860,9 +860,10 @@ S1–S4 风险最高，建议先做；S8（桌面外壳 PoC）等桌面版立项
 | SK10 | 文字层 v2 与结构识别 | 页眉页脚带（页码、各页重复的行）单独成句，不并进正文；标记写到页尾的句子，和下一页首句接续成一条要求（出处两页各一条）；最小结构识别：十进制分级编号和冒号引出的列表找上级条款，上级条款写明无效情形的，下面的条目照样认定。文字层 v1、v2 的句子编号不同，规范化 PDF 不变 | 已实现 |
 | SK11 | 待确认审计后的修正（2026-11-03） | 国动样本 73 条待确认里多数是好结果被校验误拦，逐条审计后按「规则只修真正的缺陷、不迁就模型的错误输出；模型输出不合理的改提示词」处理。**文字层 v3**：两端接竖线的横线是表格框线，不算下划线（功能表整格被误认成斜体下划线条款）；句号后紧跟的右括号、右引号并进同一句（切句 s3-v3，句子编号和 v2 不同）。**结构识别**：中文编号小节（「三、……否则投标无效」）下的 1. 2.，以冒号结尾的编号条目下的句子；依据核对沿上级链往上找。**校验**：比对引文前去掉我们自己加进输入的格式标记和〔…〕附注；不足 8 个字的短句整句复制时句末标点可省；取值核对认带量词的中文数字、同一行的单元格和评分因素标题；补「投标（响应）无效」「不能通过资格审查」「没有实质性响应」「拒收」等写法。引文最短 8 个字、编号必须对、证据要全部通过，这些不放宽。**提示词**：substantive v3、qualification / scoring / schedule / tech_param v2，统一证据规则（引文复制整句、并列多项不拆、跨页只引上一行、数字写阿拉伯数字），除实质性条款外输入改成纯文本；资格不收附件范本和价格扣除条件，日期不收合同条款，技术参数一句一条。**模型路由**：`BD_AI_MODELS` 按提示词声明的能力选模型，没配的用 `BD_AI_MODEL`。离线评测工具 `evals/run_extract.py` | 已实现 |
 | SK12 | 参考 BidEngine 的五项改进（2026-11-03） | 见 `ref-bid-engine-analysis.md` §5。**原因码**：没通过校验的结果记具体原因（`extract.FAILURES`，存在清单项 `ai_values.failures`），解析结果按原因计数（`verify_failures`），提示词规则和原因码的对照表在 `prompts/README.md`。**分块**：相邻分块重叠约 800 字；模型输出被截断（`finish_reason=length`）或不是合法 JSON 时，把分块对半重跑，最多 3 层，拆到底仍不完整的记 `output_incomplete`（以前当成「这一块没有结果」，审计发现 deepseek-flash 有输出正好停在 8192 token、整块条目悄悄丢掉的情况）。**项目基本信息**：提示词 v2，12 个字段每个都要表态 found / ambiguous / not_found，跨分块合并后分 found / absent（文件本身没写）/ needs_review（抽取有问题），记在解析结果 `info_fields`。**占位符**：「____元」「××」「（ ）」「待填」不算取值。**提示词**：substantive v4，qualification / scoring / schedule / tech_param v3，每条禁止事项对应一个原因码。三份样本的待确认：国动 4 → 2，S02 13 → 3，S06 57 → 55（S06 有 4 次对半重跑，截断的分块都救回来了） | 已实现 |
+| SK13 | S01–S10 标注集评测后的修正（2026-11-03） | 见 `extract-eval.md` §7。规则：合并时待确认条目不再「借道」正式条目（`pending_categories`），表后说明、章识别、★ 节标题、输出接近上限按截断处理、格式范本和整表概括句不收；提示词 substantive v5、qualification v4、schedule v4、tech_param v4；WPS 旧版 DOC 直接修正字体表字符集；表格按单元格切句（切句 s3-v4）。口径 Q1–Q4 见 decisions.md。三项目标（标注类召回 ≥ 99%、写明无效类召回 ≥ 90%、实质性条款准确率 ≥ 95%）全部达标 | 已实现 |
 
 SK11 修正前后（同一模型 deepseek-chat，即 deepseek-flash 不思考模式）的待确认数：国动 46 → 4，S02 17 → 13，S06 174 → 57；同一句被拆成多条的情况没有了。剩下的待确认多数是表格两栏或竖排文字串行（要按单元格切句才能解决）。实质性条款任务上比较了 flash 不思考、flash 思考（deepseek-reasoner）、deepseek-v4-pro：抽到的条款大体一致、互有多少，后两者慢 15～45 倍、输出 token 多 7～12 倍，没有看出明显更准；选型等标注集评测出结果再定。
 
 用国动便民小程序（71 页）、S02、S06 三份文件实测（真实模型 DeepSeek）：单份 33～87 秒，清单 216～1348 条，正式清单里的条目都带页码和原句。发现并已修复：标注规则说明的碎片被当成条款、页码混进正文、跨页拆成两条、「做无效响应处理」等写法漏认、上级标题下列出的无效情形被合成一条或漏掉、「无效质疑」被误当成投标无效、「是否接受联合体」取错证据。
 
-还没做、留了 TODO 的：转换镜像的字体包和 WPS 旧版 DOC 预处理（S1）、表格按单元格切句（S3）、OCR（S5）、章节层级和分包对应到清单项、模型路由的候选列表、降级和限流、在 S01–S10 上的标注集评测（召回率）、查标全部。
+还没做、留了 TODO 的：转换镜像的字体包（S1）、OCR（S5）、分包对应到清单项、模型路由的候选列表、降级和限流、查标全部。S01–S10 标注集评测和修复见 `extract-eval.md`。