docs(check): 留出集结果(冻结代码跑一次)和要修的 5 处
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
@@ -217,4 +217,5 @@ samples/
|
||||
- 2026-11-04:查标第 2 步收尾:需人工核对(份数、密封、递交、CA 签章加密、解密、保证金,从清单按主题合并,查标页勾选、按项目存,P2);「报价」类清单项(C7,读标从清单表规则读出分项 / 单价上限)和规则 `PRICE.OVER_CEILING_ITEM`;评测集派生 4 份报价问题投标文件,21 份上规则问题 62 / 62、误报 0。见 `docs/architecture/check-eval.md` §7。
|
||||
- 2026-11-04:查标第五轮(不调模型的后处理):偏离栏直读(证据所在表格行的偏离格写着不满足就改判负偏离)、响应错位(照抄要求格 + 响应格写的是别的内容);复查复用(送审内容没变的条目沿用上次的模型结论)和每次检查的硬预算。开发集 17 份召回 61% → 73%,负偏离未说明 64% → 90%,致命级 22 → 24 / 32,规矩投标文件的问题数不变(235)。见 `docs/architecture/check-eval.md` §8。
|
||||
- 2026-11-04:查标第六轮:送给模型的「同一行」按单元格分行;修了「以合同签订时间为准」被当成中标后才交、业绩评分项被跳过的缺陷;重复条目按用户决定改为各自判断、只合并显示(C5 修订,`docs/decisions.md`);致命项重问按数据(开发集致命级证据校验失败 0 条)暂不做。评测集裁定 1 条。开发集召回 74%、致命级 25 / 32。见 `docs/architecture/check-eval.md` §9。
|
||||
- 下一步:冻结查标第 3 步代码(P13 分项逐项对照试读后暂缓,原因见 check-eval §10),生成留出集投标文件(S03、S06、S09,风格 B + C,封存词库)并复核,再跑留出集和国动真实投标文件各一次。
|
||||
- 2026-11-04:查标第 3 步冻结(`a60d16e`),跑留出集一次:S03、S06、S09 各一份风格 B 规矩 + 风格 C 马虎(风格 C 由封存一侧的会话实现),96 个注入问题 Fable 复核通过 79,用户抽查 19 条全部同意。留出集召回 54%(开发集 74%)、致命级 56%(开发集 78%)、负偏离未说明 25%(开发集 92%)、规则问题 13 / 20;S03 的规矩投标文件因响应方式识别过度触发报了 1094 个提示,人工确认响应方式后降到 45 个。开发集分数有相当一部分是调出来的;要修的 5 处见 `docs/architecture/check-eval.md` §11。
|
||||
- 下一步:用冻结代码跑一次国动真实投标文件(等用户提供),然后修 §11 列的 5 处。
|
||||
|
||||
@@ -228,7 +228,32 @@
|
||||
|
||||
查标代码冻结在 `a60d16e`(规则集 `2026.11-r2`、提示词 `check.match` v2)。之后跑留出集(S03、S06、S09,风格 B 规矩 + 风格 C 马虎)和国动真实投标文件各一次,结果只记录,不据此调规则和提示词(GUIDELINES §8);留出集上发现的生成器错误按「响应清单错误」单独记数。
|
||||
|
||||
## 11. 下一步
|
||||
## 11. 留出集结果(冻结代码 a60d16e,跑一次,2026-11-04)
|
||||
|
||||
**留出集怎么做的**:S03、S06、S09 各一份风格 B 规矩 + 一份风格 C 马虎,共 6 份。招标档案由三个代理按 `prompts/profile.md` 写(S03、S06 各有 1100~1300 多条正式条目,是开发集最大的 2~3 倍);风格 B 改写由代理逐行手写(第一版用脚本批量生成,质量不够,返工);风格 C 由封存一侧的会话按封存说明在 build.py / mutate.py 里实现(开发集风格 A / B 输出逐字节不变),注入用留出集词库。96 个注入问题由 Fable 复核,通过 79、不通过 17(18%,开发集约 10%~15%:风格 C 生成器的「别处已响应就不注入」判断不够严,漏响应 6、可选加分当成缺证明 5、偏离行错位 3、删错材料 2、错位 1);用户抽查 19 条(含不通过 4 条)全部同意。
|
||||
|
||||
| 指标(只算复核通过的问题) | 开发集 17 份(调过) | 留出集 6 份(冻结代码原样) | S03 人工确认响应方式后 |
|
||||
|---|---|---|---|
|
||||
| 查标召回 | 111 / 149(74%) | **40 / 74(54%)** | 12 / 21(57%) |
|
||||
| 致命级召回 | 25 / 32(78%) | **23 / 41(56%)** | 7 / 10 |
|
||||
| D06 负偏离未说明 | 54 / 59(92%) | **5 / 20(25%)** | — |
|
||||
| D01 / D03 / D05 / D09 | 74% / 100% / 86% / 38% | 58% / 90% / 100% / 80% | — |
|
||||
| D02 / D11 证明材料、资格材料缺失 | 6% / 100% | 50% / 33% | — |
|
||||
| 规矩的投标文件报出的问题 | 239(7 份) | **1134(3 份)**,其中 S03-B 1094 | S03-B 45 |
|
||||
| 规则问题查出 | 57 / 57 | **13 / 20(65%)**:P10 0 / 3、P12 0 / 3 | — |
|
||||
| 规则问题误报 | 0 | 3(都是「没填的地方」) | 0 |
|
||||
|
||||
**读法:开发集上的分数有相当一部分是调出来的。** 留出集召回比开发集低 20 个点,致命级低 22 个点,这更接近真实水平(留出集也仍是同一个生成器写的虚构文件,真实文件还要看国动)。具体失效在哪里:
|
||||
|
||||
1. **响应方式识别过度触发(影响最大)**:`response_mode` 的「逐条响应」写法里有「逐一」,S03 声明函的填写说明「逐一、准确填写产品名称……」被认成要求逐条响应,和「未列入偏离的视为接受」冲突,按 C12 冲突就按逐条处理,1028 条技术参数在规矩的投标文件上全部报了提示级「未找到响应」。产品里响应方式是人工确认点,清单页会显示识别出的方式和依据原文(这条依据一看就不对),人工改成「只列偏离」后 S03-B 降到 45 个提示。**要修:识别「逐条响应」要求限定在偏离表、响应表的说明里,声明函填写说明不算;冲突时在清单页上提醒确认。**
|
||||
2. **偏离栏直读只认开发集的写法**:留出集偏离栏写「不完全一致 / 与要求有出入 / 接近要求」,不在「偏离 / 负偏离 / 部分满足」这组词里,模型也没读出来。D06 92% → 25%。**要修:偏离栏的取值按「是否完全一致」判断(「无偏离 / 完全响应 / 满足」以外的非空值都请人核对),不靠枚举不满足的说法。**
|
||||
3. **附加条件、另报价的写法枚举**(事先就判断最需要留出集检验):「以双方另行签订的服务协议约定为准」「保留调整报价的权利」「备选配置总价」「如同意延长交货期,可将总报价调整为……」「愿以 × 元作为最终让利价格」(金额在关键词前面)都没认出。**要修:这两类改成「投标函、报价相关章节里出现第二个总价金额」「报价、付款、交货条款里出现保留 / 另行 / 调整」这种结构化判断,再配措辞;或者交给模型判断一次。**
|
||||
4. **空白栏规则**:技术要求里的「精确到年月日」被当成没填的日期,误报 3 次。**要修:「年月日」前后是「精确到 / 格式 / 显示」这类说明性字样时不算。**
|
||||
5. **PDF 字形**:渲染出的文字层把「户」读成「戶」(康熙部首 / 兼容字),回填位置时定位不到;真实文件里招标侧和投标侧字形不一致时检索和引文核对都会受影响。**要修:文字层做兼容字归一(读标的 `_char` 已经处理了一部分部首,要补全)。**
|
||||
|
||||
这些修完以后,留出集已经测不出修复效果(看过了),报告里的留出集数字以本节为准。国动真实投标文件仍然用冻结代码跑一次,之后再修。
|
||||
|
||||
## 12. 下一步
|
||||
|
||||
1. 分项报价表和采购需求清单逐项对照(P13)**暂缓**:在开发集 7 份招标文件上试读「名称 + 数量」的采购清单表,S02、S08(服务类)没有这种表;S04 把「是否进口」一栏读成了名称;S10 采购包 2 的表跨页、第二页没有表头,漏了大半;S01 9 行里能和投标文件的分项对上名称的只有 7 行。P13 是致命级,按这个抽取质量在真实文件上会大量误报「缺项」,评测集里也没有注入过,先不上,覆盖范围里照写「还没有上线」。散文写法的单价上限同样暂缓。
|
||||
2. 第 3 步冻结前:确认各项改动的单元测试都有开发集以外的反例;冻结后跑留出集(S03、S06、S09,风格 B + C)和国动真实投标文件,各一次。
|
||||
|
||||
Reference in New Issue
Block a user