docs(evals): S01–S10 标注集 v1、评测工具和评测报告

- evals/gold：1,887 个标注单元（AI 标注、逐条裁定，未经人工复核），规范见 GUIDELINES.md
- prepare / run_all / score / gold：导出文字层、批量抽取、打分、标注定位
- docs/architecture/extract-eval.md：修复前后的结果（三项目标全部达标）和剩余问题
- decisions.md 记 M1（只用 Flash）和 Q1–Q4；架构 §13 SK13；AGENTS.md 进度

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>

AGENTS.md

@@ -200,4 +200,7 @@ samples/
 - 2026-11-03：读标可以走完一份文件：待确认区采纳 / 补上出处后采纳 / 修改后采纳 / 丢弃，正式清单修改、补出处、删除恢复、人工新增、修改记录，确认清单生成不可变版本；右侧 pdf.js 原文查看器点出处跳页、按坐标框高亮原句，选句补出处。实现约定见 `docs/architecture/api-design.md` §10。
 - 2026-11-03：审计待确认区：多数是好结果被校验误拦，根源在输入（表格框线被认成下划线）、提示词（要求逐项拆开）和模型没守规则。规则只修真正的缺陷，不迁就模型的错误输出；提示词出新版本（引文复制整句、并列不拆、跨页只引上一行，除实质性条款外输入改成纯文本）。国动的待确认 46 → 4，S02 17 → 13，S06 174 → 57。见架构 §13 SK11；离线评测工具 `evals/run_extract.py`。
 - 2026-11-03：请 Fable 做顾问深读参考项目的解析流水线（`docs/architecture/ref-bid-engine-analysis.md` §5），采纳五项：待确认记原因码、分块重叠和截断后对半重跑、项目基本信息逐项表态、占位符不算值、提示词规则对应原因码。发现并修复了模型输出被截断时整块条目悄悄丢失的问题。见架构 §13 SK12。
-- 下一步：在 S01–S10 上做标注集评测（各类召回率、准确率），据此定模型选型；之后是查标（M3）。评测后要做：表格按单元格切句（两栏表格、竖排窄列文字串行）。
+- 2026-11-03：抽取模型定为只用 DeepSeek Flash，不再对比 Pro 和思考模式，效果靠规则和提示词优化（`docs/decisions.md` M1）。
+- 2026-11-03：S01–S10 标注集评测 v1（`docs/architecture/extract-eval.md`，工具和标注集在 `evals/`）。1,829 个标注单元由 AI 标注、逐条裁定，未经人工复核。标注类实质性条款召回 99.7% 达标；写明无效类召回 85.4%、实质性条款准确率 87.8%、资格条件准确率 38.4% 不达标，主因是规则缺陷（合并时待确认条目被并进正式条目、表后「上述……否则无效」说明认不出、模型提前收尾的静默丢失），修复清单 F1–F8 见该文 §4。每份文件实测约 1.4 元。还发现产品转换流程缺 WPS 旧版 DOC 预处理（S07 正文全是乱字）。
+- 2026-11-03：按评测修复 F1–F8，口径 Q1–Q4 按建议确认（`docs/decisions.md`）；请 Fable 当顾问审读修复，改了它指出的 7 个问题。修复后三项目标全部达标：标注类召回 99.4%、写明无效类召回 98.1%（含待确认区）、实质性条款准确率 98.4%；资格条件准确率 38% → 90%，每份文件约 1.2 元。还剩的问题见 `docs/architecture/extract-eval.md` §7.4。
+- 下一步：查标（M3）。标注集还没人工复核，建议先抽查实质性条款（S03、S06）。