Files
bid-doctor/docs/architecture/check-eval.md
YANG JIANKUAN b2b8584321 feat(evals): 留出集生成——风格 C、留出集改写导出;评测可模拟人工确认响应方式
- build.py / mutate.py:补风格 C(叙述型),由封存一侧的会话按封存说明实现;开发集风格 A / B 输出逐字节不变
- build.py:复述要求时去行首编号不再吃掉「2路服务器」这类内容数字
- export_rewrite.py:没有风格 A 稿时从未改写的风格 B 稿导出
- run_check.py:--modes 模拟清单页上人工确认的响应方式(C12 的人工确认点)
- check-eval.md:第 3 步冻结点(a60d16e)

查标代码(server/src、prompts)自冻结后未改。

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-11-04 18:58:52 +08:00

31 KiB
Raw Blame History

查标评测(2026-11-04 起)

评测集规范:evals/check/GUIDELINES.md;工具:evals/check/;数据和输出在 evals/out/check/(不进 git)。 读数的前提:金标准由 Fable 复核、用户抽查 20%(决策 E1),未经全部人工复核;本文的数字都是开发集上的,只用于找问题、调实现,不能当效果证据。头条效果以留出集(风格 C)和真实国动投标文件为准,第 3 步冻结代码后才跑。

1. 试跑(第 0 步,2026-11-04)

范围:开发集 S02、S04、S10 各两份投标文件(规矩 + 马虎),都是风格 A(风格 B 的改写还没做)。查标代码是第 1 步的版本:响应匹配只有「检索 + 模型判断」,规则检查还没有。模型 DeepSeek Flash,提示词 check.match v1。

复核:马虎的投标文件共注入 82 个要求项问题,Fable 复核通过 70 个、不通过 12 个(S02 10 个:默认接受的文件里注入了漏响应、「暂不支持」套在尺寸和费用这类参数上、要求本身是可选项等)。下面只算通过的。用户抽查 17 条(随机 20%,含 Fable 判不通过的 4 条),全部同意(2026-11-04)。

1.1 结果

投标文件 清单条数 报出问题 查标召回 致命级召回 规矩响应的要求上误报 不需要响应的条目上报了问题
S02 规矩 248 104 — — 21 / 56 39
S02 马虎 248 117 8 / 16(50%) 2 / 7
S04 规矩 264 90 — — 11 / 111 52
S04 马虎 264 110 11 / 28(39%) 1 / 4
S10 规矩 305 122 — — 6 / 39 75
S10 马虎 305 142 5 / 20(25%) —
  • 合计查标召回 24 / 64(38%)。只检索不调模型的基线召回 0:基线把检索到的第一句都当作已响应,说明现在查出的问题来自模型判断,不是检索。
  • 按问题类型:漏响应(D01)9 / 14 较好;写明不支持(D05)5 / 20、负偏离未说明(D06)0 / 7、响应对象错位(D09)0 / 4 很差。
  • 每次检查调用模型 31~39 次,输入约 9~11.5 万 token、输出约 1.5~1.7 万 token(约一两毛钱)。

1.2 问题出在哪里

  1. 不需要投标人响应的条目也被报了「未找到响应」:三份规矩的投标文件报了 316 个问题,166 个落在根本不需要响应的条目上(无效情形的列举、日期、采购人义务、别的采购包),这是误报的大头。→ C12 的响应方式抽取,加上「这条要不要投标人回答」的判断和按所投采购包过滤(第 2、3 步)。
  2. 表格里的「暂不支持」「负偏离」看不见:表格按单元格切句,检索命中的是投标人照抄要求原文的那一格,同一行里写着「暂不支持」「负偏离」的格子不在模型的输入里。→ 第 3 步把整行交给模型(偏离表直取也是这个思路)。
  3. 证明材料和格式文件找不到:规矩响应的要求上的误报,主要是证明材料(扫描件页没有文字层)和格式文件(声明函、承诺书)报了「未找到响应」,以及让投标人「见附件」的要求被报成「未给出具体值」。→ C10 扫描件兜底;文件要在(presence)的要求按文件在不在判断,不逐条找响应。
  4. 级别口径:S02 的 ★ 是「核心技术参数,负偏离扣分」,不是投标无效条款;标注集记成实质性条款,查标按致命报和真实评审不一致。→ 级别要跟着招标文件对 ★ 的定义走(读标口径 Q2 已有,查标沿用)。

1.3 评测集自身的问题(已修 / 待修)

问题 状态
分项报价平均摊,一项超过单价上限,规矩的投标文件自带致命问题(S10) 已修:按分项上限比例分摊
偏离表有「设备名称」列,按固定列写会错位(S04) 已修:按表头决定列
写死的落款日期晚于投标截止日(S04) 已修:取截止日前 3 天
同一参数列在两张表里,只删一张表的行不算漏响应(S04) 已修:漏响应在所有表里都删
符合性条件响应表的一格被算成 11 个问题 已修:按表级问题记一个
标注集同一要求有两个单元(两个类别、或表格一行拆成几条),一个问题算两次 已修:评分按句子重叠合并
「暂不支持」套在尺寸、费用、打印方式这类参数上,不像真实写法 待修:按参数类型选注入方式
默认接受的文件里注入漏响应(S02 另加了一张逐条的技术规格表,脚本推响应方式时被它带偏) 待修:响应方式以档案的 modes 为准,不从表格推
「提供某文件」类要求被当成参数注入偏离 待修:推响应方式时识别 presence
风格 B 的改写(截断、同义替换、只写值)还没做;所有数字都是风格 A 的 待做

2. 开发集第一版(2026-11-04)

范围:开发集 7 份招标文件各两份投标文件,共 14 份:S02、S05、S08、S10 是 A 规矩 + B 马虎,S01、S04、S07 是 B 规矩 + A 马虎(GUIDELINES §4)。生成器修了试跑的待修项(「暂不支持」不再套在数值参数上、表格响应方式以档案为准、「提供……文件」不注入参数类问题),风格 B 由模型改写、数字对不上的改写丢弃。查标代码仍是第 1 步的版本。

复核:注入的要求项问题两批共 222 个,Fable 复核通过 188 个。第二批 140 个里不通过 22 个,其中 14 个在 S07:S07 须知要求逐条标明,格式注又写未列入视作接受,且只有 ★ 项写明未响应无效,非 ★ 参数删一行算不算问题拿不准,金标准从严不算(查标侧仍按 C12 取更严的逐条)。用户抽查第一批 17 条全部同意;第二批抽查 28 条(含 Fable 判不通过的 4 条)也全部同意。两批合计抽查 45 条,和 Fable 的判断一致。

2.1 结果

指标 结果
查标召回(复核通过的问题) 51 / 128(40%);风格 A 25 / 70(36%),风格 B 26 / 58(45%)
端到端召回(含读标漏抽) 51 / 132(39%)
致命级召回 18 / 37(49%)
不带标志词 / 带标志词 40 / 81(49%)/ 11 / 51(22%)
连续一段 / 单点 7 / 12(58%)/ 44 / 120(37%)
规矩的投标文件报出的问题 清单 2049 条,报出 699 个
其中规矩响应的要求上的误报 153 / 620(每 100 条 24.7)
其中不需要响应的要求上报的 334 个(占 48%)
干扰项误报 默认接受的要求没复述(T06)39,改写后的要求(T02)20,响应写在别的分册(T01)3
费用 14 次检查输入 150 万 token、输出 25 万 token

按问题类型:资格证明缺失(D11)9 / 14、评分材料缺失(D13)9 / 12、漏响应(D01)15 / 23 较好;负偏离未说明(D06)0 / 20、响应对象错位(D09)1 / 14、证明材料缺失(D02)2 / 9、写明不支持(D05)11 / 31 很差。

2.2 读法

  • 试跑的四个判断都成立,而且更清楚了:「带标志词」的问题(写明不支持、负偏离)召回只有 22%,比不带的还低,正是表格里同一行的响应格、偏离格不在模型输入里;风格 B 反而比 A 高,因为 A 照抄要求原文,检索更容易命中照抄的那一格。规矩的投标文件上近一半的问题落在不需要响应的要求上,默认接受的要求被报了 39 次。
  • 第 2、3 步按这个顺序改收益最大:① 整行上下文 / 偏离表直取(直接对应 D05、D06、D09,51 个问题里的 45 个);② 响应方式和「这条要不要投标人回答」(C12,对应 334 + 39 个误报);③ 扫描件兜底和 presence 判断(证明材料、格式文件类误报)。

2.3 评测集还要改的

问题 状态
「暂不支持」「可选配置」仍会套在证书、供货清单、服务义务、文档交付这类非功能要求上(两批共 12 条被复核拒掉) 待修:注入前按「功能类要求」过滤
同一要求被两个标注单元挂了同一个问题(实质性 + 技术参数、资格 + 符合性,第二批约 20 对);「第二十二条总述」这类伞状单元和具体条目不重叠 待修:注入前按 anchor 重叠合并标注单元;伞状单元不挂问题
条件性要求(「如依法免税则须提供」)被当作必须提供的材料挂 D11 待修:按投标人情况排除
低密度(每份 5~8 个问题)的投标文件还没做 待做:选 3 份

3. 第一轮改进:整行上下文(2026-11-04)

改了什么:候选句在表格里时,把同一行的单元格一起交给模型,也可以引用(check/match.py);提示词 check.match v2 说明怎么读一行(要求格 / 响应格 / 偏离格)。对应 §2.2 的第 ① 项。v2 的规则写法避开了开发集注入词库里的说法(重合的只有「负偏离」「完全响应」,是招标文件格式自带的用语)。

评测集同时修了 §2.3 的前三项(「暂不支持」只套功能类要求、伞状单元和条件性要求不挂问题),7 份马虎的投标文件用原来的种子重新生成,另加 3 份低密度的,共 17 份。新目标 55 个由 Fable 复核(通过 54 个),用户抽查 11 个全部同意(三批合计抽查 56 个,全部同意)。因为注入的问题换了一批(「负偏离未说明」多了、「暂不支持」少了),下表的「旧做法」要和同一批投标文件比,不能和 §2 的数字直接比。

指标(17 份,复核通过的问题) 旧做法(v1、不带整行) 新做法(v2 + 整行)
查标召回 43 / 145(30%) 73 / 145(50%)
致命级召回 9 / 31(29%) 15 / 31(48%)
带标志词 1 / 65(2%) 35 / 65(54%)
负偏离未说明 D06 / 写明不支持 D05 / 数值不满足 D03 0 / 58、1 / 7、3 / 7 28 / 58、7 / 7、6 / 7
漏响应 D01 / 响应对象错位 D09 18 / 27、3 / 14 14 / 27、0 / 14(变差)
规矩的投标文件报出的问题 699 639
规矩响应的要求上的误报 153 / 620(24.7 / 100) 132 / 620(21.3 / 100)
不需要响应的要求上报的问题 334 329
输入 / 输出 token 189 万 / 32 万 273 万 / 28 万

读法:整行上下文解决了「看不见响应格、偏离格」的问题,带标志词的问题从几乎查不出到过半;误报略降。代价是输入 token 多 44%。两处变差:漏响应(D01)和响应对象错位(D09)。推测是同一行或相邻行的内容让模型更容易「找到点什么就判已响应」:漏掉的那一行不在了,检索命中的是相邻要求的行;错位的那一行响应格写的是另一条参数,模型没比对参数名。下一轮在提示词里要求先核对响应格说的是不是同一个参数 / 设备,并单独看 D01、D09 的漏报明细。不需要响应的要求上的误报(329)没有变化,要靠第 ② 项(C12)。

4. 第二轮:评测集纠错 + 响应方式和「要不要回答」(2026-11-04)

评测集纠错:§3 里漏响应、响应对象错位「变差」,逐条看漏报后发现多数是生成器的错,不是查标的错:读标清单有重复条目、S04 同一参数列在两张表里、技术方案散文也复述了要求,注入器只改了其中一处,别处还留着正确的响应,模型找到它是对的。改为同一要求的所有表格行一起改;在散文、附件、格式文件里也响应了的要求不挂漏响应 / 数值不满足 / 错位;错位响应必须是另一个参数的。马虎的投标文件按原种子重新生成,新目标 45 个由 Fable 复核(通过 40 个),用户抽查 9 个全部同意(四批合计抽查 65 个,全部同意)。

查标改了什么(第 2 步的 C12 部分):

  • checklist/response_mode.py:按类别(技术 / 商务)识别招标文件的响应方式,规则优先;冲突按逐条,认不出按逐条并标明。开发集 7 份的识别结果和档案一致。(还没存进清单、没做清单页的显示和修改。)
  • check/applicability.py:不需要投标人回答的条目不逐条找响应,写进覆盖范围(无效情形 —— 但 ★ / 斜体下划线标注的条款照常找、日期与递交、没要求附材料的评分标准、无需提供证明或由采购人查询的资格)。要求附证明材料按原文判断(读标的 evidence_required 常常是空的),中标后才交的不算。
  • 默认接受的要求没找到响应:一般要求记「按招标文件默认接受」、不出问题;实质性要求出提示级「请人工核对」;要附证明材料的不免(迁移 0006 加了两种结论)。
指标(17 份,复核通过的问题) v1 v2 + 整行 + 响应方式和「要不要回答」
查标召回 48 / 150(32%) 102 / 150(68%) 97 / 150(65%)
致命级召回 9 / 32 20 / 32 21 / 32
规矩的投标文件报出的问题 699 639 229
规矩响应的要求上的误报 24.7 / 100 21.3 / 100 12.4 / 100
不需要响应的要求上报的问题 334 329 77
默认接受的要求被报(T06) 39 35 1
输入 token 189 万 273 万 224 万

按问题类型(最后一列):漏响应 19 / 24、写明不支持 13 / 14、数值不满足 4 / 4、负偏离未说明 39 / 59、评分材料缺失 9 / 14、错位 6 / 13;证明材料缺失 1 / 17。

读法:规矩的投标文件上的问题少了三分之二,召回只掉了 3 个点(掉的主要是只在默认接受的文件里、被正确判为「默认接受」的条目,以及证明材料)。证明材料缺失几乎查不出:资格证明、检测报告多是扫描件页,没有文字层,规矩的投标文件上同样报「未找到」——这是下一项(C10 扫描件兜底 + 文件要在的判断)。

一处要说明的:调响应方式识别时,打印结果里顺带出现了留出集 S03、S06、S09(招标文件本身,不是投标文件)的识别结果,其中 S03、S09 和规范 §2 的记录不一致。没有据此改任何规则,留到留出集正式评测时再看。

5. 第三轮:扫描件兜底、文件要在、响应方式存进清单(2026-11-04)

改了什么:

  • 文件要在(check/presence.py):「提供《授权委托书》」「须提交投标函」这类要求,从原文取出文件名,在投标文件里找写着它的标题;找到就算已响应(出处是那个标题),不调模型。
  • 扫描件兜底(C10):要附证明材料的要求没找到、而投标文件里有扫描件页时,不报「未找到响应」,改成提示级「可能在扫描件里,请人工核对」。没有 OCR 时,扫描件里有没有这份材料分不出来。
  • 响应方式存进清单(迁移 0008):解析时识别、带依据句子存下来;清单页显示,可以改(人工确认点,写审计,重新解析不覆盖人工改过的);查标用存下来的。
指标(17 份) 上一轮(mode) 本轮(scan)
查标召回 98 / 150(65%) 92 / 150(61%)
致命级召回 22 / 32 22 / 32
规矩的投标文件报出的问题 229(致命 120、重要 58、提示 51) 235(致命 51、重要 14、提示 170)
规矩响应的要求上的误报 12.4 / 100 13.5 / 100

读法:问题的个数没变,变的是级别:规矩的投标文件上的致命问题少了一半多(120 → 51),多出来的是「请到扫描件里核对」的提示,致命级召回不变。总召回掉了 4 个点,主要是批次变化带来的波动(文件要在的条目不再进模型,同一批里的组合变了),以及几条漏响应被「标题里出现了文件名」误判为已响应——要盯着。评测集里证明材料全是扫描件页,所以证明材料缺失(D02)照旧查不出、扫描件兜底也分不出缺没缺;真正查出来要靠 OCR / 多模态(S5)。

6. 第四轮:规则检查(报价形式、形式要件)(2026-11-04)

改了什么(check/rules.py,规则集 2026.11-r1,不调模型):

  • 投标侧结构:按坐标把句子分成行、按表头归栏,认三种表——开标一览表(「投标总报价」那一栏)、分项报价表(数量 / 单价 / 合价三栏,可以跨页接续)、响应表(有「响应情况 / 偏离情况」一栏);再加落款日期、格式文件的填写位、页眉。
  • 规则:大写和小写金额(P04)、分项算术和合计(P05)、超最高限价(P01 / P02,按所投采购包取限价)、多个报价(P12)、页眉和填写位里的别的项目名称 / 编号 / 采购人(P06)、没填的地方(P07)、落款日期晚于截止或写错(P08)、投标有效期短于要求(P09)、附加条件(P10)、响应表里写「未完全响应 / 负偏离」或空着(D10)。响应匹配已经对同一句报了负偏离的,规则不重复报。
  • 每条问题挂投标原文;有依据的挂招标侧出处(限价、截止时间、项目名称来自项目基本信息,有效期要求来自清单项)。缺项目侧的值(限价、截止时间、有效期要求)或认不出开标一览表时不报,写进覆盖范围。
  • 说明只写读到的数字和依据,不写「应改为多少」(红线 6)。

顾问审读后的修改(请 Fable 从真实政府采购投标文件的角度审读,只给代码不给结论)。它指出的主要风险是真实版式上的致命误报,按「宁可让人核对,不让规矩的投标文件挂致命」改了:

  • 表格分行改按单元格:文字层原来就用 pdfplumber 找出了单元格框,但没存到句子上;现在句子带上单元格框(可选字段,旧的文字层没有就按句子重叠分行),同一行按单元格上沿分。垂直居中的短格、折成几句的长格、纵向合并的格不再串行或错位。
  • 开标一览表认得更严:总价那一栏下面恰好一个金额才算总价,分项表、多年度报价表的金额栏叫「投标报价」也不会被当成「多个总价」;不同位置写的总价不一致改为重要级的「投标总价前后写的不一致」,不再按致命的「两个报价」报。
  • 另报价按把握分级:「备选方案 / 方案二 / 第二套」致命;「优惠价 / 让利后」重要;金额等于投标总价(开标一览表或分项合计)的不报;否定看整个分句。
  • 分项表:「硬件小计」这类分组小计不进明细;同一栏读到两个数的行(无框线表格的合并格)不核对;下一页重复表头接着算同一张表;说明写「相差多少元」。
  • 响应表:一条记录从序号行到下一个序号行;「空着」一律按重要报(可能是版面没认准);认「否」(「是否响应 / 满足」栏)、「不响应(见说明)」这类写法。
  • 投标有效期:只在投标函、开标一览表那一页上的按致命报,别处按提示;复述的招标原文不算;「本报价有效期」(原厂报价单)不算;要求有几条时取最少的天数;认表格写法(「投标有效期」一格、旁边或下面一格写天数)。
  • 别的项目名称:页眉要像项目名称(以「项目 / 工程 / 采购 / 标段」结尾或带编号),章节页眉不算;招标文件里出现过的名称、编号(代理机构编号、简称)不算;「致:贵单位」不算。
  • 附加条件:复述判断先去掉编号、用前后 20 字;「不影响合同价款」这类不算;技术分册里的按提示报。
  • 大写金额:前后两句都找、只认写着「小写 / ¥ / 报价 / 合计」的句子,任何一处相等就不报。
  • 落款日期认汉字数字(「二〇二六年十一月十七日」)和「日 期:」;说明里去掉「……的投标无效」这类绝对说法,改为「通常会导致投标无效,请核对」。复查对齐的目标改为原文前缀 + 摘要,前缀相同的两句不会互相吞掉。
  • 每类都加了开发集以外的反例单元测试(test_check_rules.py)。

评测集修正:P07 的注入记录改成空白处前后的原文(原来记段落开头,空白在同段后一句时对不上);S07-A-sloppy 的 D10 注入在人员表里(不是响应表),剔除,生成器改为只往表头有「响应」的表里注入。score.py 加了规则问题的评分:规则编号对上、投标侧出处里有注入的原文才算查出。

指标(17 份) 结果
规则问题查出 57 / 57(P04 8、P05 7、P06 7、P07 10、P08 7、P09 1、P10 7、P12 7、D10 3)
规则问题误报 0(规矩的投标文件 7 份上 0)
规则问题的级别 致命 8(备选方案类另报价 6、投标函上的有效期 1、符合性响应表 1)、重要 32、提示 17
响应匹配 不变(召回 92 / 150,致命级 22 / 32)

读法:这个满分基本说明不了泛化。 规则是在知道生成器怎么注入、见过开发词库措辞的情况下写的,投标文件版式也都出自同一个生成器。附加条件(P10)和多个报价(P12)的开发词库措辞直接落在规则的写法里,最需要留出集检验。为此做了两件事:规则按招投标文件的通用写法归纳(单元测试和 bid-mini-forms.pdf 都用开发词库以外的措辞);评测集里没有的情形(超限价、跨页分项表、万元单位)只有单元测试。真实投标文件的合并单元格、扫描页、各地模板差异,要等国动真实投标文件来看。P01 / P02 / P03 / P11 / P13–P18 评测集里还没有注入。

7. 第 2 步收尾:需人工核对、分项上限(2026-11-04)

需人工核对(FR-M3-04、决策 P2,check/manual.py):份数、密封、递交、CA 签章加密、解密、保证金这些投标文件里看不出来的要求,从正式清单里挑出来(技术参数、评分项、资格条件不算;写明免收保证金的不列;点名要交的文件归「文件要在」),按主题合并成最多 5 条(开发集 7 份招标文件每份 3~4 条,原始条目 12~48 条),带招标原文出处;查标页勾选,按项目存、写勾选人和时间,复查后还在。接口 GET / PUT /projects/{id}/manual-checks,check_key 用 rule:MANUAL.<主题>,清单改了勾选也还在。不生成「问题」,覆盖范围里写明列了几条。

分项 / 单价上限(C7,checklist/price.py + 规则 PRICE.OVER_CEILING_ITEM):读标时从采购需求的清单表(表头有「名称」和「单价上限 / 分项限价」两栏,表前一句写采购包)逐行读出名称、数量、上限,作为「报价」类正式条目并入清单,出处是表格那一行,不调模型;采购包一级的表不算。查标时这类条目不交给模型,规则拿分项报价表里同名分项的单价比,超了报致命,挂招标侧出处和清单项。名称要求很严(完全相同、去掉括注后相同,或重合度 ≥ 0.8),对不上的写进覆盖范围。开发集只有 S10 有分项上限,5 条全部读对;散文写法(「单价不得超过 × 元」)还不认。

评测集:从规矩的投标文件派生 4 份只带报价问题的(evals/check/price_defects.py:只改一个分项单价,合价、合计、大小写跟着改,算术一致):S01-B-p01、S04-B-p01(超总价限价 1 元 / 1%)、S10-A-p02(超采购包限价 1%)、S10-A-p03(分项单价超上限 1%)。S10 的分项上限加起来就是采购包限价,总价超限必然有分项超上限,生成器把这条一并记进金标准。21 份上规则问题 62 / 62 查出、误报 0;同样只说明规则和生成器对得上。

8. 第五轮:偏离栏直读、响应错位、复查复用和预算(2026-11-04)

改了什么(check/deviation.py,都在模型判断之后、不调模型):

  • 偏离栏直读:模型判「已响应 / 只写满足」的条目,看它引的证据句所在的表格行;同一行有单元格整格写着「偏离 / 负偏离 / 部分满足 / 未完全响应」这类字样,改判负偏离,证据带上那一格。只写「偏离」两字的要是识别出单元格框的格(跨页无框的行抽字时「无偏离」会被拆成「无」「偏离」,规矩的 S07-B 上出过一次)。漏掉的 D06 多数就是这种:响应格照抄要求「满足,……」、偏离格写「偏离」,提示词已经要求读整行,模型还是漏。
  • 响应错位(D09):模型判「已响应」、引的证据全是照抄的要求格,同一行右边的响应格写的是别的内容(「显示器升降行程:150mm」「1位」),且和要求没有一个字对 / 数字字母串重合 → 改判「响应可能对不上」,说明里写出响应格原文。笼统的「支持 / 具备」、「详见……」、只写「满足」、要求太短(汉字少于 8 个)的不判。条件很严,宁可漏。
  • 复查复用(C2,check/reuse.py):每条清单项按「提示词版本 + 要求 + 候选句和同一行的单元格原文」算缓存键,和模型那一层的原始结论(后处理之前)一起存进 check_item_result;复查时键相同、证据句在本次投标文件里原样找得回来的,直接沿用,不调模型;响应方式、偏离栏直读这些后处理照常重算。覆盖范围写沿用了几条。
  • 硬预算(C2):每次检查送给模型的字数上限 120 万字(开发集平均约 5 倍),按批次顺序分配,超出的批次不调模型,条目记「超出预算」列为请人工核对,覆盖范围另写。
指标(17 份) 第三轮(scan) + 偏离栏直读 + 响应错位(本轮)
查标召回 92 / 150(61%) 107(71%) 109 / 150(73%)
致命级召回 22 / 32 24 / 32 24 / 32
D06 负偏离未说明 38 / 59(64%) 53 / 59(90%) 53 / 59(90%)
D09 响应对象错位 5 / 13 5 / 13 7 / 13
规矩的投标文件报出的问题 235 236 235
模型调用 — 全部命中缓存 全部命中缓存

读法:两项都是确定的规则,没有改提示词、没有多花 token。响应错位报了 3 处(2 个单元),全对,规矩的投标文件上没有改判;第一版报错的 4 处(「13.56MHz」没算数字字母重合、「支持」当成别的内容、要求太短)修掉后才是这个数。偏离栏直读依赖投标文件的偏离栏写法,真实文件里偏离栏常写「无」「—」「见说明」,这些不会改判(不算不满足),只有明确写了不满足的字样才改。

9. 第六轮:同一行按单元格、业绩条款不再误跳、重复条目只合并显示(2026-11-04)

改了什么:

  • 送给模型的「同一行」按单元格分行(有框线的表格;正文句子照旧按上下重叠):垂直居中的格子、折行的长格不再串到上下行。要重跑模型(17 份约 225 万 token)。
  • 「以合同签订时间为准」不再当作「签订合同时才交」:applicability 判断证明材料是不是中标后才交的正则把它也认成了「签订合同时」,业绩评分项(「需提供合同复印件……以合同签订时间为准」)因此被当作「没要求附材料」跳过。评分项的业绩条款几乎都这样写。
  • 重复条目(决策 C5 修订):每条照常单独判断;问题接口给出同一次检查里问题类型相同、要求原文完全相同的其他问题(duplicate_ids),查标页同组只显示一条,注明「清单里出现 N 处」,处理和撤销对整组生效。
  • 致命项重问(C3)先不做:开发集 17 份上证据没通过校验的只有 5 条,致命级 0 条,C3 定的「不超过致命问题的 10%」已经满足,开发集上没有可测的对象;等真实投标文件上看到再做。
  • 评测集裁定 1 条(adjudication/S10-B-sloppy.md):t20 的漏响应不成立,技术方案正文完整响应了(生成器没认出风格 B 改写过的正文复述);问题总数 150 → 149。另核实了 3 条疑似错误、不改:S10-A-low t16 正文只响应了一半;S04-A s21 / s22 是同一条认证要求在几台设备下各写一遍、投标文件漏了其中一台——清单把几台设备的同一要求合成了一条,按条目查看不出哪一台漏了,这是现在的局限。
指标(17 份,按 149 个问题重算) 第五轮(mismatch) + 同一行按单元格(cellrow) + 业绩条款(award,本轮)
查标召回 109(73%) 108(72%) 111 / 149(74%)
致命级召回 24 / 32 25 / 32 25 / 32
D06 / D09 / D13 53 / 7 / 9 53 / 5 / 9 54 / 5 / 10
规矩响应的要求上的误报 84 / 620 81 / 620 81 / 620
干扰项误报 30 27 24
规矩的投标文件报出的问题 235 236 239
输入 token(17 份) 221 万 225 万 225 万

读法:按单元格分行和上一轮基本持平(召回 -1、致命 +1、误报略少),在一次模型重跑的波动范围内,结构上更对,保留。D09 少的 2 条是响应错位判断依赖模型引用「照抄的要求格」,模型换了引用就不触发——它是补漏,不是主力。业绩条款的修正带来 D13 +1、D01 +1;规矩的投标文件上多了 3 个提示(新查的业绩评分项)。

10. 第 3 步冻结(2026-11-04)

查标代码冻结在 a60d16e(规则集 2026.11-r2、提示词 check.match v2)。之后跑留出集(S03、S06、S09,风格 B 规矩 + 风格 C 马虎)和国动真实投标文件各一次,结果只记录,不据此调规则和提示词(GUIDELINES §8);留出集上发现的生成器错误按「响应清单错误」单独记数。

11. 下一步

  1. 分项报价表和采购需求清单逐项对照(P13)暂缓:在开发集 7 份招标文件上试读「名称 + 数量」的采购清单表,S02、S08(服务类)没有这种表;S04 把「是否进口」一栏读成了名称;S10 采购包 2 的表跨页、第二页没有表头,漏了大半;S01 9 行里能和投标文件的分项对上名称的只有 7 行。P13 是致命级,按这个抽取质量在真实文件上会大量误报「缺项」,评测集里也没有注入过,先不上,覆盖范围里照写「还没有上线」。散文写法的单价上限同样暂缓。
  2. 第 3 步冻结前:确认各项改动的单元测试都有开发集以外的反例;冻结后跑留出集(S03、S06、S09,风格 B + C)和国动真实投标文件,各一次。
  3. 第 3 步:D09(响应对象错位)、D06(负偏离未说明)的提示词 v3,token 预算、复查复用、重复条目分组。
  4. 留出集(S03、S06、S09,风格 B + C,封存的词库)和真实国动投标文件,在第 3 步冻结代码后只跑一次。