eric/bid-doctor
1
0
Fork 0
Code Issues Pull Requests Actions 1 Packages Projects Releases Wiki Activity
63 Commits 2 Branches 0 Tags
fee1c0f84212f480332cb3393f9eb547b85ae206
Commit Graph

18 Commits

Author SHA1 Message Date
YANG JIANKUAN
b2b8584321 feat(evals): 留出集生成——风格 C、留出集改写导出；评测可模拟人工确认响应方式 
- build.py / mutate.py：补风格 C（叙述型），由封存一侧的会话按封存说明实现；开发集风格 A / B 输出逐字节不变
- build.py：复述要求时去行首编号不再吃掉「2路服务器」这类内容数字
- export_rewrite.py：没有风格 A 稿时从未改写的风格 B 稿导出
- run_check.py：--modes 模拟清单页上人工确认的响应方式（C12 的人工确认点）
- check-eval.md：第 3 步冻结点（a60d16e）

查标代码（server/src、prompts）自冻结后未改。

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
 2026-11-04 18:58:52 +08:00
YANG JIANKUAN
df3ebbb6a1 feat(check): 偏离栏直读、响应错位判断；复查复用和硬预算（C2） 
- deviation.py：模型判已响应的条目，证据所在表格行的偏离格写着「偏离 / 部分满足」等
  就改判负偏离；照抄要求格、响应格写的是别的内容的改判「响应可能对不上」
- reuse.py：按「提示词 + 要求 + 候选句原文」算缓存键，存模型原始结论；复查时内容没变、
  证据找得回的条目直接沿用，不调模型
- 每次检查送给模型的字数有上限，超出的条目列为请人工核对，写进覆盖范围
- 开发集 17 份：召回 61% → 73%，负偏离未说明 64% → 90%，规矩投标文件问题数不变

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
 2026-11-04 17:47:12 +08:00
YANG JIANKUAN
81c58798d2 feat(check): 需人工核对（P2）和分项 / 单价上限（C7） 
- 需人工核对：份数、密封、递交、CA 签章加密、解密、保证金这类文件里看不出来的要求，
  从正式清单按主题合并、带招标原文出处；manual-checks 接口按项目存勾选、写勾选人和时间，
  复查沿用；查标页加「需人工核对」一块，覆盖范围写明列了几条
- 「报价」类清单项：读标从采购需求的清单表规则读出分项 / 单价上限（checklist/price.py）；
  查标交给规则 PRICE.OVER_CEILING_ITEM 比对分项报价表，不交给模型；规则集 2026.11-r2
- 版面工具（分页、分行、归栏）挪到 document/pipeline/layout.py，读标和查标共用
- 评测：price_defects.py 从规矩投标文件派生只带报价问题的 4 份（P01、P02、P03）

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
 2026-11-04 17:31:32 +08:00
YANG JIANKUAN
db1b1f6f9f feat(check): 规则检查（报价形式、形式要件、响应表），表格按单元格分行 
- check/rules.py（规则集 2026.11-r1，不调模型）：大小写金额、分项合计、超最高限价、
  多个报价、别的项目名称、没填的地方、落款日期、投标有效期、附加条件、响应表里的未响应；
  每条挂投标原文，有依据的挂招标侧出处；缺限价、截止时间、有效期要求时写进覆盖范围
- 文字层的句子带上单元格框，表格按单元格上沿分行
- 按 Fable 审读意见收紧致命级：认不准的降为重要或提示
- 评测：score.py 评规则问题；P07 注入记录改为空白处前后原文，剔除注入到人员表的 D10
- 上传页的检查范围文案同步

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
 2026-11-04 16:44:22 +08:00
YANG JIANKUAN
47c6a1258e feat(check): 文件要在、扫描件兜底（C10）；响应方式存进清单并可改（C12） 
- check/presence.py：「提供《授权委托书》」「须提交投标函」这类要求按标题里有没有这个文件名判断，不调模型。
- 扫描件兜底：要附证明材料的要求没找到、投标文件里有扫描件页时，改为提示级「可能在扫描件里，请人工核对」。
- 响应方式解析时识别、带依据句子存进 checklist.response_modes（迁移 0008）；清单页显示、可改（写审计，
  重新解析不覆盖人工改过的）；查标用存下来的。新接口 PUT /projects/{id}/checklist/response-modes/{category}。
- check_item_result.layer 加 presence（迁移 0007）；契约同步默认接受的两种结论。

开发集 17 份：规矩投标文件的致命问题 120 → 51，致命级召回不变（22 / 32）（docs/architecture/check-eval.md §5）。

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
 2026-11-04 15:53:45 +08:00
YANG JIANKUAN
cb0c2fcafe feat(check): 响应方式识别（C12）和「这条要不要投标人回答」；评测集纠错 
- checklist/response_mode.py：按类别（技术 / 商务）识别招标文件的响应方式（逐条响应 / 默认接受），规则优先；
  两种写法冲突按逐条，认不出按逐条并写进覆盖范围。
- check/applicability.py：无效情形（★ / 斜体下划线标注的条款除外）、日期与递交、没要求附材料的评分标准、
  无需提供证明或由采购人查询的资格，不逐条找响应，写进覆盖范围；要求附证明材料按原文判断，中标后才交的不算。
- 默认接受的要求没找到响应：一般要求记 implicit_accepted、不出问题；实质性要求记 implicit_review、提示级
  人工核对；要附证明材料的不免（迁移 0006）。
- match.py：修同一行单元格又是别的条目候选句时的 KeyError（每条清单项单独记候选句，句子从总表里查）。
- 评测集：注入器同一要求的所有表格行一起改；散文、附件、格式文件里也响应了的要求不挂漏响应类问题；
  错位响应必须是另一个参数；复核判不成立的单元不再挂；regen.py 按固定种子重新生成。

开发集 17 份：规矩投标文件报出的问题 639 → 229，误报 21.3 → 12.4 / 100，召回 68% → 65%，致命级 20 → 21 / 32
（docs/architecture/check-eval.md §4）。

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
 2026-11-04 14:25:14 +08:00
YANG JIANKUAN
1d50faccbe fix(evals): 「暂不支持」只套功能类要求；伞状单元和条件性要求不挂问题；低密度投标文件；run_check 加 --v1 对比开关 
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
 2026-11-04 13:23:16 +08:00
YANG JIANKUAN
912c2b8acf docs: 查标评测开发集第一版（14 份投标文件）结果；汇总脚本 report.py 
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
 2026-11-04 13:15:57 +08:00
YANG JIANKUAN
85d6ba67b8 feat(evals): 导出风格 B 改写输入；改正规范里 S01、S05 的响应方式记录；空偏离表注明「无偏离」 
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
 2026-11-04 13:06:46 +08:00
YANG JIANKUAN
2beccd5fc5 feat(evals): 风格 B（两个分册、改写、自己的编号、干扰项 T01）；注入的三处待修项 
- build.py：风格 B 分商务资格册和技术册，表格行按 rewrite.json 改写（数字对不上的改写丢弃，规矩靠构造
  保证），用自己的编号，每 12 行技术响应挪到商务资格册（T01）；干扰项写进 spec.traps。
- mutate.py：支持多个分册；表格的响应方式以档案的 mode 为准（评分要的技术规格表是 presence，不再把单元
  推成逐条响应）；「暂不支持」只套在功能类要求上，数值参数写不满足的值；「提供……方案 / 证明 / 报告」
  这类文件要在的要求不注入参数类问题。
- prompts/style-B.md、prompts/profile.md：风格 B 改写说明和招标文件档案说明（开发集用）。

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
 2026-11-04 12:51:17 +08:00
YANG JIANKUAN
54534be0c1 fix(evals): 漏响应在所有表里都删；评分按句子重叠合并重复的标注单元 
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
 2026-11-04 12:26:21 +08:00
YANG JIANKUAN
a07663cbdb feat(evals): 查标评测集生成器、注入、评分和只检索基线 
- build.py：从「招标文件档案」和读标清单生成规矩投标文件稿；技术参数按 op / value / unit 算满足的值，
  分项报价按分项上限比例分摊，落款日期取截止日前 3 天，偏离表按格式表头决定列（含设备名称列），
  读标漏抽的技术参数也补上响应；routes 支持「+」组合和 prose 散文响应。
- mutate.py：按词库注入要求项问题（单点 / 连续块，带不带标志词）和规则问题，写响应清单；
  符合性条件响应表的问题按表级记一个。
- score.py：按单元去重、类型族比对、读标漏抽单列、端到端召回、无法对照单列。
- run_check.py：加只检索不调模型的基线；render.py：扫描件按最后一次出现定位。
- vocab-dev.json：开发集注入词库（留出集的另行封存，不进 git）。

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
 2026-11-04 12:18:48 +08:00
YANG JIANKUAN
01ddc86281 docs: 确认 C12（响应方式）和 E1（评测集复核方式） 
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
 2026-11-04 12:05:17 +08:00
YANG JIANKUAN
4ed945c1de docs(evals): 查标评测集规范 v0.2、留出集划分；渲染和离线查标脚本；新增待定事项 C12 
- evals/check/GUIDELINES.md：请 Fable 审查 v0.1 后修改。响应方式按「文件 × 类别」记（逐条 / 默认接受 /
  证明材料（投标时、中标后）/ 文件要在 / 平台内应答），10 份招标文件逐份核对；规矩投标文件靠构造保证
  （表格脚本生成，LLM 只写散文和改写），对全部要求响应，问题只挂人工复核过的标注单元；注入分单点 /
  连续块 / 全局三种粒度、带不带标志词、两档密度；留出集注入词库和 C 风格说明开工时封存；评分补只检索
  基线、按单元去重、端到端召回。
- evals/check/split.json：开发集 S01 S02 S04 S05 S07 S08 S10，留出集 S03 S06 S09 + 真实国动投标文件。
- evals/check/render.py、run_check.py。
- m3-plan.md：新增待定事项 C12（每条要求怎么才算「响应了」）。

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
 2026-11-04 12:02:40 +08:00
YANG JIANKUAN
ad34b0cb23 docs: 读标抽取现状、遗留问题和下一步；改正「三项目标全部达标」的说法
Some checks failed
ci / server (push) Has been cancelled
Details
ci / web (push) Has been cancelled
Details
ci / contract (push) Has been cancelled
Details 
- 新增 docs/architecture/extract-status.md：指标两种读法（报告值 / 只按人工标注）、
  已确认的进展、泛化风险（Fable 过拟合评估）、P0–P3 遗留问题、找样本和建留出集的流程
- extract-eval.md、AGENTS.md、架构 SK13、evals/README.md 改正达标说法并指向新文档
- 读标召回率优化暂停，后续专项优化从 extract-status.md 接着做

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
 2026-11-03 23:37:52 +08:00
YANG JIANKUAN
602703c47c docs(evals): S01–S10 标注集 v1、评测工具和评测报告 
- evals/gold：1,887 个标注单元（AI 标注、逐条裁定，未经人工复核），规范见 GUIDELINES.md
- prepare / run_all / score / gold：导出文字层、批量抽取、打分、标注定位
- docs/architecture/extract-eval.md：修复前后的结果（三项目标全部达标）和剩余问题
- decisions.md 记 M1（只用 Flash）和 Q1–Q4；架构 §13 SK13；AGENTS.md 进度

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
 2026-11-03 23:19:30 +08:00
YANG JIANKUAN
f99bb8b358 feat(server): 参考 BidEngine 补五项：原因码、截断重跑、项目信息逐项表态、占位符、提示词规则对应校验 
- 待确认记原因码（extract.FAILURES，存在 ai_values.failures），解析结果按原因计数
  （verify_failures）；前端待确认条目显示具体原因
- 相邻分块重叠约 800 字；模型输出被截断或不是合法 JSON 时对半重跑（最多 3 层），
  拆到底仍不完整记 output_incomplete。修复：以前截断时整块条目被当成「没有结果」悄悄丢掉
- 项目基本信息提示词 v2：12 个字段逐项表态 found / ambiguous / not_found，跨分块合并为
  found / absent / needs_review（info_fields）
- 「____元」「××」「（ ）」「待填」等占位符不算取值
- 提示词 substantive v4，qualification / scoring / schedule / tech_param v3：每条禁止事项
  对应一个原因码，对照表在 prompts/README.md
- 顾问（Fable）深读参考项目的结论补进 ref-bid-engine-analysis.md §5；架构 §13 SK12
- 待确认：国动 4 → 2，S02 13 → 3，S06 57 → 55

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
 2026-11-03 21:59:12 +08:00
YANG JIANKUAN
e3f234ca0b feat: 读标可以走完一份文件；审计待确认区，修规则缺陷、提示词出新版本 
读标操作（FR-M2-07、08）
- 后端：清单项详情（ETag）、修改（If-Match 选填，记 edited_fields 和 AI 原值）、
  采纳（补出处或声明「人工确认、无出处」，可带修改）、删除 / 丢弃与恢复、人工新增、
  替换出处、人工建出处（选同一页的句子）、修改记录（来自审计）、确认清单（不可变版本，
  内容没变复用上一版）、版本列表；正式清单有变化时已确认的清单回到草稿；项目已递交只读
- 重新解析不推翻人工决定：丢弃的不再冒出来，采纳的留在正式清单，人工补过的出处不被覆盖
- 前端：待确认区采纳 / 补上出处后采纳 / 修改后采纳 / 丢弃，正式清单修改、补出处、删除
  （可撤销）、修改记录、新增条目、确认清单；pdf.js 原文查看器（点出处跳页、按坐标框高亮、
  选句补出处），整屏对照布局，J / K 上下条；跨页的一句话合成一处出处显示

待确认审计（架构 §13 SK11）
- 规则只修真正的缺陷：表格框线不算下划线（文字层 v3）；句号后的右括号并进同一句
  （切句 s3-v3）；中文编号小节和冒号编号条目的上级条款，依据沿上级链核对；取值认中文
  数字、同一行单元格和评分因素标题；补几种无效写法；比对引文前去掉我们加进输入的标记
- 不放宽：引文最短 8 个字、编号必须对、证据全部通过
- 提示词新版本：substantive v3，qualification / scoring / schedule / tech_param v2；
  引文复制整句、并列多项不拆、跨页只引上一行，除实质性条款外输入改成纯文本
- BD_AI_MODELS 按提示词声明的能力选模型；离线评测工具 evals/run_extract.py
- 待确认：国动 46 → 4，S02 17 → 13，S06 174 → 57

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
 2026-11-03 21:32:15 +08:00