实验定位 负结果 / 机制更清楚
A76 是 A75 的压力测试:A75 只用 case-level observation state 解释 A73 frontier,而 A76 对 A73 的 77 个 λ mesh 候选逐个渲染回 4 个输入相机,并计算候选自己的 MV depth error、carrier-relative residual、visible/conflict/neutral/unobserved per-region signed residual 和 local damage flag。
结果非常关键:candidate-specific residual 确实被 materialize 了,但直接按它做后验排序并不好。最佳 no-GT selector 是 hard_lambda_1,joint=-0.0001506,只等于/接近 hard λ=1=-0.0001506,明显弱于 A75 LOO observation router=-0.0002769 和 A73 oracle=-0.0003089。这说明“候选渲染更贴近 VGGT depth”不等于 GT mesh 更好,post-hoc residual ranker 会被可见视角过拟合误导。
A76 uses a lightweight render/sample budget for 77 A73 candidates. It is a candidate-specific residual audit, not a full retraining or sampler-time method.
实验设计(Image-2 风格)
模块设计(Image-2 风格)
Candidate Residual
- 对每个 A73 λ candidate 重新 rasterize 到输入 4 视角。
- 用 VGGT depth context 计算 candidate MV depth error。
- 把 surface sample residual 按 A51/A50 face label 分到 visible/conflict/neutral/unobserved。
- 所有 residual 都转成 carrier-relative delta,避免只看绝对误差。
Selector Stress
- min MV depth:直接选最贴近 VGGT depth 的候选。
- min observation risk:加入 visible/neutral damage 与 region spread 惩罚。
- visible-safe conflict gain:只接受 conflict gain 且 visible 不恶化。
- GT oracle 只用于上限审计,不参与无 GT 选择。
实验结果(表格)
10-case projected selector comparison
| selector | mean ΔChamfer | mean ΔF@5 | joint | Pareto hits | damage | gap to oracle |
|---|---|---|---|---|---|---|
| A73 GT oracle upper bound | -0.0002107 | 0.001227 | -0.0003089 | 3 | 2 | 0.0000000 |
| A75 LOO observation router | - | - | -0.0002769 | - | - | 0.0000320 |
| A75 conservative state router | - | - | -0.0002839 | - | - | 0.0000249 |
| hard λ=1 | -0.0000892 | 0.000768 | -0.0001506 | 0 | 1 | 0.0001582 |
| A76 min observation risk | -0.0000168 | 0.000585 | -0.0000636 | 0 | 0 | 0.0002452 |
| A76 min MV depth error | 0.0000101 | 0.000287 | -0.0000129 | 0 | 0 | 0.0002960 |
| A76 conflict gain visible-safe | 0.0000031 | 0.000312 | -0.0000219 | 0 | 0 | 0.0002870 |
| A76 damage-aware proxy | 0.0000156 | -0.000209 | 0.0000323 | 0 | 1 | 0.0003412 |
| A73 weak proxy | -0.0000089 | 0.000259 | -0.0000296 | 0 | 2 | 0.0002793 |
case-level candidate-specific selection
| case | candidates | Pareto | oracle | oracle joint | min risk | min MVD | damage-aware | visible-safe | damage cand. |
|---|---|---|---|---|---|---|---|---|---|
| gso_000_input4 | 25 | 6 | scalar_1.250 | -0.0001417 | scalar_0.250 | scalar_0.250 | probe_v0.000_c1.000_r0.000 | scalar_0.250 | 3 |
| gso_002_input4 | 26 | 1 | scalar_1.250 | -0.0025723 | template_v0.125_c0.500_n0.125_u0.000 | scalar_0.250 | carrier_zero | scalar_0.250 | 3 |
| gso_008_input4 | 26 | 2 | probe_v0.000_c0.750_r0.000 | -0.0003747 | probe_v0.250_c1.250_r0.500 | template_v0.125_c0.750_n0.250_u0.125 | template_v0.125_c0.750_n0.250_u0.125 | probe_v0.250_c1.250_r0.500 | 9 |
candidate residual correlation with joint
| case | signal | Spearman rho | p |
|---|---|---|---|
| gso_000_input4 | delta_mvd_vs_carrier | 0.1252 | 0.5599 |
| gso_000_input4 | candidate_observation_risk | -0.0043 | 0.9839 |
| gso_000_input4 | visible_abs_delta | 0.2591 | 0.2214 |
| gso_000_input4 | local_damage_flag | -0.1001 | 0.6416 |
| gso_002_input4 | delta_mvd_vs_carrier | -0.6263 | 0.0008 |
| gso_002_input4 | candidate_observation_risk | -0.3735 | 0.0659 |
| gso_002_input4 | visible_abs_delta | -0.4251 | 0.0342 |
| gso_002_input4 | local_damage_flag | -0.0205 | 0.9227 |
| gso_008_input4 | delta_mvd_vs_carrier | 0.0785 | 0.7093 |
| gso_008_input4 | candidate_observation_risk | -0.0300 | 0.8868 |
| gso_008_input4 | visible_abs_delta | -0.3192 | 0.1198 |
| gso_008_input4 | local_damage_flag | -0.3467 | 0.0895 |
可视化结果
实验结论
- A76 完成了 A75 提出的 candidate-specific residual materialization:77 个 A73 λ candidate 都有了自己的 MV depth / per-region signed residual。
- 但直接后验排序失败:min observation risk 的 joint=-0.0000636,min MV depth 的 joint=-0.0000129,都明显弱于 A75 case-state router。
- 这说明 observation residual 的正确用法不是“生成完再选最像输入视角的 mesh”,而是作为生成期预算约束:约束哪些 region 可以继续动、哪些 visible/neutral region 不能被破坏。
- A76 也解释了为什么 A75 的 case-state 反而更强:case-state 捕捉的是风险类型,而 candidate-level post-hoc residual 容易奖励对输入可见 depth 的局部贴合,忽略不可见/整体形状。
下一步想法
- A77:把 A76 的 candidate-specific damage penalty 移到 sampler-time regional guidance,做 per-step accept/damp/stop,而不是 post-hoc rank。
- 训练/拟合一个区域预算函数时,目标不应直接最小化 MV depth error,而应最小化“相对 carrier 的可见损伤 + conflict 修正 + support drift”的多目标约束。
- 在更多 active cases 上验证 A76 的负结果是否稳定;如果稳定,它就是论文里“post-hoc view fitting is insufficient”的核心证据。
- 可视化应增加每个候选的 MV depth error vs GT joint 散点图,展示二者不单调。