docs: 读标抽取现状、遗留问题和下一步;改正「三项目标全部达标」的说法
- 新增 docs/architecture/extract-status.md:指标两种读法(报告值 / 只按人工标注)、 已确认的进展、泛化风险(Fable 过拟合评估)、P0–P3 遗留问题、找样本和建留出集的流程 - extract-eval.md、AGENTS.md、架构 SK13、evals/README.md 改正达标说法并指向新文档 - 读标召回率优化暂停,后续专项优化从 extract-status.md 接着做 Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
@@ -202,5 +202,6 @@ samples/
|
||||
- 2026-11-03:请 Fable 做顾问深读参考项目的解析流水线(`docs/architecture/ref-bid-engine-analysis.md` §5),采纳五项:待确认记原因码、分块重叠和截断后对半重跑、项目基本信息逐项表态、占位符不算值、提示词规则对应原因码。发现并修复了模型输出被截断时整块条目悄悄丢失的问题。见架构 §13 SK12。
|
||||
- 2026-11-03:抽取模型定为只用 DeepSeek Flash,不再对比 Pro 和思考模式,效果靠规则和提示词优化(`docs/decisions.md` M1)。
|
||||
- 2026-11-03:S01–S10 标注集评测 v1(`docs/architecture/extract-eval.md`,工具和标注集在 `evals/`)。1,829 个标注单元由 AI 标注、逐条裁定,未经人工复核。标注类实质性条款召回 99.7% 达标;写明无效类召回 85.4%、实质性条款准确率 87.8%、资格条件准确率 38.4% 不达标,主因是规则缺陷(合并时待确认条目被并进正式条目、表后「上述……否则无效」说明认不出、模型提前收尾的静默丢失),修复清单 F1–F8 见该文 §4。每份文件实测约 1.4 元。还发现产品转换流程缺 WPS 旧版 DOC 预处理(S07 正文全是乱字)。
|
||||
- 2026-11-03:按评测修复 F1–F8,口径 Q1–Q4 按建议确认(`docs/decisions.md`);请 Fable 当顾问审读修复,改了它指出的 7 个问题。修复后三项目标全部达标:标注类召回 99.4%、写明无效类召回 98.1%(含待确认区)、实质性条款准确率 98.4%;资格条件准确率 38% → 90%,每份文件约 1.2 元。还剩的问题见 `docs/architecture/extract-eval.md` §7.4。
|
||||
- 下一步:查标(M3)。标注集还没人工复核,建议先抽查实质性条款(S03、S06)。
|
||||
- 2026-11-03:按评测修复 F1–F8,口径 Q1–Q4 按建议确认(`docs/decisions.md`);请 Fable 当顾问审读修复,改了它指出的 7 个问题。修掉了几个确定的缺陷(合并时假致命、输出临近上限的静默丢失、WPS 旧版 DOC 乱码、表格串行);报告分数是在同一批样本上调、又用同一批评的,请 Fable 评估后确认有过拟合:只按人工标注算,实质性条款准确率 72%、标注类召回 98.9%,泛化未测。
|
||||
- 2026-11-03:读标召回率优化暂停。现状、遗留问题(含泛化风险)和下一步整理在 `docs/architecture/extract-status.md`;后续专项优化先建留出集(多省份、招标投标体系、扫描件)并人工标注。
|
||||
- 下一步:查标(M3)。
|
||||
|
||||
Reference in New Issue
Block a user