docs: 读标抽取现状、遗留问题和下一步;改正「三项目标全部达标」的说法
- 新增 docs/architecture/extract-status.md:指标两种读法(报告值 / 只按人工标注)、 已确认的进展、泛化风险(Fable 过拟合评估)、P0–P3 遗留问题、找样本和建留出集的流程 - extract-eval.md、AGENTS.md、架构 SK13、evals/README.md 改正达标说法并指向新文档 - 读标召回率优化暂停,后续专项优化从 extract-status.md 接着做 Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
@@ -1,6 +1,6 @@
|
||||
# 读标抽取评测:S01–S10 标注集 v1(2026-11-03)
|
||||
|
||||
> **修复后的结果见 §7**:F1–F8 和四个口径问题已经处理,三项目标全部达标。§1–§6 是修复前(base)的评测,保留作对照。
|
||||
> **修复后的结果见 §7**:F1–F8 和四个口径问题已经处理。§7 的分数是在同一批 10 份样本上调出来、又用这批样本评的,评分脚本里还有两条「按定义算对」的规则,**不能当作达标的证据**。只按人工标注算的分数、泛化风险和下一步见 `extract-status.md`。§1–§6 是修复前(base)的评测,保留作对照。
|
||||
|
||||
> 范围:读标(M2)的五类清单抽取和项目基本信息,在 S01–S10 上的召回率和准确率。
|
||||
> 模型:DeepSeek Flash 不思考模式(决策 M1,不再对比 Pro 和思考模式);提示词 substantive v4、qualification / scoring / schedule / tech_param v3、project_info v2;代码版本 f99bb8b。
|
||||
@@ -162,6 +162,8 @@
|
||||
|
||||
F1–F8 全部实现,四个口径按建议执行(决策 Q1–Q4)。改完先请 Fable 当顾问审读(§7.3),改了它指出的问题,再跑两轮。
|
||||
|
||||
> **注意(同日复核)**:下表「修复后」一列,实质性条款准确率里有 320 条是评分脚本按定义算对的(★ 节、法规无效),只按人工标注算是 72.4%;标注类召回按 S02 的原标注算是 98.9%;资格、日期的准确率含 AI 裁定补标。详见 `extract-status.md` §2。
|
||||
|
||||
### 7.1 结果
|
||||
|
||||
| 指标 | 目标 | 修复前(base) | 修复后(fix3) |
|
||||
|
||||
Reference in New Issue
Block a user