AI / Technology
ModelEquivBench：把LLM生成优化模型的“等价性”拆成可认证的多关系画像
这篇论文研究一个很实际的问题：LLM 生成的优化模型，不能只看“能不能跑通”或一个单一的“等价/不等价”标签。跑通的模型也可能在可行域、目标顺序、最优值或最优解集上出错；反过来，某些结构工具的拒绝也不一定真的意味着语义不等价。
为什么这个问题重要
优化模型不是普通文本答案。它的错误可能藏在“看起来能执行”的外壳里：模型可能导出了 LP/MPS，但内部可行域已经变了，或者最优值与最优解集并不一致。
因此，只看执行成功率会把不同层次的错误混在一起。论文要解决的是：如何把“语义上哪里一样、哪里不一样”拆开，并且让第三方能复核。
单一标量评分的局限
把结果压成“equivalence accuracy”或一个等价标签，无法告诉你错在生成、导出、映射搜索，还是语义本身不一致。
论文明确指出，作者看到的失败分布不能合理压缩成单一准确率，因为不同模型在不同阶段失败。
七层语义画像 E0–E6
论文把候选模型和参考模型的关系拆成七个层面：构造、表示对齐、同空间可行域、投影可行域、目标顺序、最优值、最优解集。
这意味着系统不再问“等价吗”，而是逐层问：是不是导出了正确格式，能不能找到可验证映射，可行集是否一致，目标和最优解是否一致。
- E0 先看候选是否能被正确摄取成结构有效的优化模型。
- E1 检查同空间的可容许映射，像置换、二元补码、符号翻转、仿射提升。
- E2–E6 继续往下问可行域、目标和最优解是否真的一致。
证据必须可重检
作者不接受只靠“模型自己说对了”的结果。已决定的正结论要靠可重放轨迹、显式映射或精确有理证书来支撑；负结论要靠显式见证。
如果前提没满足、搜索没做完、结构不支持或资源不够，系统返回的是 typed abstention，例如 UNKNOWN、N/A、ABSENT，而不是猜一个真假。
这些证据，能把结论推到哪一步
ModelEquivBench 提出了一种多关系认证评估框架，用 E0–E6 的语义画像替代单一“等价/不等价”标签。
评估对象是冻结的 173 个基础问题上的三种模型快照：GPT-5.4、Claude Sonnet 4.6、Qwen3.5-397B-A17B；每个模型对应 346 个单元，采用 temperature 0.0、no-repair、no-resampling。
在 E0 入口层，GPT-5.4、Claude Sonnet 4.6、Qwen3.5-397B-A17B 的可摄取候选分别为 334/346、156/346、196/346；其中 Qwen3.5 另有 17 个 provider/API 错误记为 E0 absent。
仅覆盖线性和有界离散模型；quadratic 和一般非线性模型会返回 unknown_unsupported。
从候选生成到证书验证的最小实现链
先把模型导出成 LP/MPS，并用精确有理表示存储系数，保证后续证书可以被独立验证。
然后按层检查：先做 E0 的结构摄取，再尝试 E1 的映射搜索；若映射成立，再继续做 E2–E6 的证书验证。
每一步都能单独落盘和复核，单层超时只影响该层，不会抹掉已经验证过的结果。
研究附录术语、来源与待验证问题
论文证据
ModelEquivBench 提出了一种多关系认证评估框架，用 E0–E6 的语义画像替代单一“等价/不等价”标签。
证据笔记：方法；Paper section 3 / 5
评估对象是冻结的 173 个基础问题上的三种模型快照：GPT-5.4、Claude Sonnet 4.6、Qwen3.5-397B-A17B；每个模型对应 346 个单元，采用 temperature 0.0、no-repair、no-resampling。
证据笔记：arXiv HTML full text；Paper section 4 / 5 / 7
在 E0 入口层，GPT-5.4、Claude Sonnet 4.6、Qwen3.5-397B-A17B 的可摄取候选分别为 334/346、156/346、196/346；其中 Qwen3.5 另有 17 个 provider/API 错误记为 E0 absent。
证据笔记：Paper section 4 / 7
在已进入 E1 的单元中，E1 覆盖率分别为 GPT-5.4 277/334（82.9%）、Claude Sonnet 4.6 130/156（83.3%）、Qwen3.5 164/196（83.7%）。
证据笔记：arXiv HTML full text；Paper section 4
Table 2 显示，ORGEval 在 E2 等价对上拒绝了 25、8、18 个单元，说明结构性拒绝与认证等价并不一致。
证据笔记：Paper section 4
作者明确表示，E0–E6 是画像而不是单一准确率，不能压缩为一个全局标量分数。
证据笔记：Paper section 3 / 5
框架使用可验证证据：可重放轨迹、显式映射、精确有理证书与显式见证；缺失前提、资源上限或实现范围外情况会返回 typed abstention（如 UNKNOWN、N/A、ABSENT）。
证据笔记：Paper section 3 / 4 / 6 / 7
能力边界与局限
- 仅覆盖线性和有界离散模型；quadratic 和一般非线性模型会返回 unknown_unsupported。
- 仅报告 173 个基础问题上的三种快照结果，且是 no-repair 协议；外推到其他设置需谨慎。
- 依赖已验证映射、精确证书和显式见证；映射搜索不全、结构不支持或资源耗尽时只能给出 UNKNOWN / N/A / ABSENT。
- E1 搜索失败不等于不存在映射；E2 的全局负结论也依赖声明宇宙完备。
- E3 当前只支持 affine-lift schema，非仿射投影或整数辅助消元会返回 unknown。
和其他方案放在一起看
还不能确定的地方
E2–E6 的完整逐类结果分布未在提供的笔记中完整展开。
目前只看到若干汇总数字和若干典型例子，缺少完整矩阵。
查阅正文中的 Table 2/3/9/10 及对应附录，逐行核对各维度计数。
173 个基础问题的具体领域构成和难度分层未明确。
证据笔记只给出总数与若干表格编号，没有任务分布信息。
查看数据集描述、附录数据表或实验设置段落。
E3 的经验覆盖是否足以代表投影等价的常见情形不清楚。
笔记中提到 E3 正式单元为 0 或仅支持 affine-lift schema，覆盖边界可能较窄。
检查 E3 的实现细节、支持的投影类型，以及是否有更多未展示样例。
三模型结果是否会随 provider-specific serving 波动而变化不清楚。
笔记提到部分 unknown_resource、timeout 和 API error，但没有重复试验或方差估计。
查找重复运行、跨服务端复测或附录中的稳定性分析。
ORGEval 的实现版本及配置是否为官方未修改版本不清楚。
笔记明确说作者不声称该实现是官方未修改版本。
对照 ORGEval 官方代码、版本号和实验脚本。
术语表
- E0–E6
- 论文定义的七个语义层面，从模型构造和表示对齐，一直到可行域、目标和最优解集。
- typed abstention
- 有类型的拒答；不是简单说“不知道”，而是区分 UNKNOWN、N/A、ABSENT、unknown_resource 等不同原因。
- Farkas 证书
- 用来证明线性不等式包含关系的精确证据，属于可验证的有理证书。
- admissible map
- 可接受的映射；例如置换、二元补码、符号翻转或仿射提升，必须能被验证器认可。
- LP/MPS
- 线性规划模型的标准表示格式，论文要求候选能导出这类格式后再进入认证流程。
- affine lift
- 仿射提升；把一个模型通过仿射变换联系到另一个模型，用于证明更高层次的语义关系。
- certified negative
- 带证书的负例；不是“没找到”，而是有显式见证证明某种关系不成立。
参考来源
来源追踪
Paper section 3: 提出 E0–E6 七维语义画像，并以可验证证据支撑各关系判断。 arXiv HTML full text
Paper section 4: 在冻结的 173 个基础问题上，对 GPT-5.4、Claude Sonnet 4.6、Qwen3.5-397B-A17B 做了 346 个单元/模型的评估。 arXiv HTML full text
Paper section 4: GPT-5.4、Claude Sonnet 4.6、Qwen3.5-397B-A17B 的可摄取候选数分别为 334、156、196。 arXiv HTML full text
Paper section 4: E1 覆盖率分别为 82.9%、83.3%、83.7%。 arXiv HTML full text
Paper section 4: ORGEval 在 E2 等价对上拒绝了 25、8、18 个单元。 arXiv HTML full text
Paper section 6: E1 使用可容许映射族，E2/E3/E5/E6 依赖精确证书或见证；部分场景返回 unknown 或 N/A。 arXiv HTML full text
Paper section 7: E0 true/E0 absent、E1 true、E2 decided 等统计在表格中分模型给出，并区分 provider/API 失败与结构性缺失。 arXiv HTML full text
关于这篇论文的三个关键问题
ModelEquivBench：把LLM生成优化模型的“等价性”拆成可认证的多关系画像 解决了什么问题？
优化模型不是普通文本答案。它的错误可能藏在“看起来能执行”的外壳里：模型可能导出了 LP/MPS，但内部可行域已经变了，或者最优值与最优解集并不一致。
ModelEquivBench：把LLM生成优化模型的“等价性”拆成可认证的多关系画像 的核心结论有哪些证据？
ModelEquivBench 提出了一种多关系认证评估框架，用 E0–E6 的语义画像替代单一“等价/不等价”标签。 证据笔记：方法；Paper section 3 / 5
阅读 ModelEquivBench：把LLM生成优化模型的“等价性”拆成可认证的多关系画像 时最需要注意什么局限？
仅覆盖线性和有界离散模型；quadratic 和一般非线性模型会返回 unknownunsupported。