实验定位 正向突破 / 需扩展验证
A58 接在 A57 后面:A57 证明 surface proxy drift 会和 GT Chamfer 脱节,因为它测的是旧 conflict 采样点到新表面的距离。A58 换了一个更接近输入观测的 no-GT 质量信号:把每个迭代候选 mesh 渲染回 4 个输入相机,计算 rendered depth 与 VGGT depth 的多视角一致性误差。
推荐判据 mv_depth_error_exceeds_carrier 第一次在后验编辑链条里同时让平均 Chamfer 和 F@5 优于 carrier:mean ΔChamfer=-0.0000375,mean ΔF@5=0.005816。它还在 gso002 上选择 iter 8,和 GT Chamfer oracle 完全一致。
实验设计(Image-2 风格)
模块设计(Image-2 风格)
Render-consistency Gate
- 编辑信号仍沿用 A56/A57:VGGT depth residual 驱动 outward step。
- 质量信号改为 candidate mesh 渲染到 4 个输入视角后的 depth error。
- 对每个视角用 carrier depth context 做 scale alignment,避免跨视角尺度漂移。
mv_depth_error_exceeds_carrier:只要 MV depth error 还低于 carrier,就允许继续编辑。- 选择过程不使用 GT;GT 只做回顾验证。
Why It Matters
A58 的关键不是又加了一个 proxy,而是从“旧表面样本距离”转向“当前候选是否仍能解释输入观测”。这更接近多视角重建的本质:mesh 可以离开旧 conflict points,但不能离开输入视角中的可见几何。
实验结果(表格)
Stopping criterion 对比
| criterion | mean ΔChamfer | mean ΔF@5 | stop iters | mean stop iter |
|---|---|---|---|---|
| mv_depth_error_stops_improving | 0.0000215 | 0.003685 | [3, 2, 2] | 2.3 |
| mv_depth_error_exceeds_carrier | -0.0000375 | 0.005816 | [1, 8, 5] | 4.7 |
| conflict_p95_stops_improving_a57 | 0.0002672 | 0.000399 | [2, 1, 1] | 1.3 |
| gt_chamfer_oracle | -0.0005581 | 0.011463 | [3, 8, 8] | 6.3 |
MV depth error 与 Chamfer 相关性
| case | Spearman rho | p-value |
|---|---|---|
| gso_000_input4 | 0.4667 | 0.2054 |
| gso_002_input4 | -0.1167 | 0.7650 |
| gso_008_input4 | -0.0333 | 0.9322 |
gso_000_input4:GT oracle iter 3
| iter | Chamfer | ΔChamfer | F@5 | MV depth error | ΔMVD | conflict p95 | OBJ |
|---|---|---|---|---|---|---|---|
| 0 | 0.066657 | 0.0000000 | 0.494487 | 0.056849 | 0.000000 | 0.015515 | OBJ |
| 1 | 0.066445 | -0.0002122 | 0.494246 | 0.056872 | 0.000024 | 0.015425 | OBJ |
| 2 | 0.066358 | -0.0002989 | 0.493660 | 0.056865 | 0.000017 | 0.015402 | OBJ |
| 3 | 0.066241 | -0.0004159 | 0.494999 | 0.056792 | -0.000056 | 0.015859 | OBJ |
| 4 | 0.066365 | -0.0002916 | 0.495493 | 0.056824 | -0.000025 | 0.016351 | OBJ |
| 5 | 0.066786 | 0.0001297 | 0.493353 | 0.056880 | 0.000031 | 0.017049 | OBJ |
| 6 | 0.066598 | -0.0000586 | 0.494376 | 0.056820 | -0.000029 | 0.017909 | OBJ |
| 7 | 0.066673 | 0.0000167 | 0.485913 | 0.056923 | 0.000074 | 0.018813 | OBJ |
| 8 | 0.066427 | -0.0002298 | 0.493160 | 0.056965 | 0.000116 | 0.019199 | OBJ |
gso_002_input4:GT oracle iter 8
| iter | Chamfer | ΔChamfer | F@5 | MV depth error | ΔMVD | conflict p95 | OBJ |
|---|---|---|---|---|---|---|---|
| 0 | 0.050963 | 0.0000000 | 0.640966 | 0.080272 | 0.000000 | 0.019212 | OBJ |
| 1 | 0.050625 | -0.0003376 | 0.643738 | 0.079337 | -0.000935 | 0.019213 | OBJ |
| 2 | 0.050180 | -0.0007834 | 0.650012 | 0.079172 | -0.001100 | 0.019917 | OBJ |
| 3 | 0.050404 | -0.0005587 | 0.648915 | 0.079370 | -0.000902 | 0.020515 | OBJ |
| 4 | 0.050281 | -0.0006818 | 0.649332 | 0.079046 | -0.001226 | 0.020073 | OBJ |
| 5 | 0.049950 | -0.0010128 | 0.651693 | 0.079135 | -0.001138 | 0.020732 | OBJ |
| 6 | 0.049397 | -0.0015658 | 0.654675 | 0.079388 | -0.000884 | 0.020976 | OBJ |
| 7 | 0.049376 | -0.0015869 | 0.654905 | 0.079509 | -0.000763 | 0.022302 | OBJ |
| 8 | 0.049358 | -0.0016053 | 0.656566 | 0.079467 | -0.000805 | 0.023377 | OBJ |
gso_008_input4:GT oracle iter 8
| iter | Chamfer | ΔChamfer | F@5 | MV depth error | ΔMVD | conflict p95 | OBJ |
|---|---|---|---|---|---|---|---|
| 0 | 0.135493 | 0.0000000 | 0.186502 | 0.048295 | 0.000000 | 0.009218 | OBJ |
| 1 | 0.136931 | 0.0014382 | 0.185754 | 0.047878 | -0.000417 | 0.009343 | OBJ |
| 2 | 0.136757 | 0.0012637 | 0.187998 | 0.047797 | -0.000498 | 0.010115 | OBJ |
| 3 | 0.138467 | 0.0029740 | 0.182590 | 0.048026 | -0.000269 | 0.011660 | OBJ |
| 4 | 0.137954 | 0.0024611 | 0.185909 | 0.048008 | -0.000287 | 0.013604 | OBJ |
| 5 | 0.137198 | 0.0017051 | 0.188592 | 0.048034 | -0.000261 | 0.015400 | OBJ |
| 6 | 0.137539 | 0.0020462 | 0.194603 | 0.049872 | 0.001577 | 0.016393 | OBJ |
| 7 | 0.138011 | 0.0025180 | 0.192654 | 0.050660 | 0.002366 | 0.016853 | OBJ |
| 8 | 0.135840 | 0.0003468 | 0.204780 | 0.051118 | 0.002824 | 0.018509 | OBJ |
可视化结果
实验结论
- 正向突破:
mv_depth_error_exceeds_carrier的 mean ΔChamfer=-0.0000375、mean ΔF@5=0.005816,这是 A56-A58 迭代编辑系列里第一个 no-GT 双指标正向判据。 - 相比 A57 surface proxy,MV render consistency 明显更能允许正确的持续编辑:gso002 stop iters 从 A57 的 1 推到 8,并匹配 GT oracle。
- 局限也很清楚:Spearman correlation 仍不稳定(gso000 rho=0.4667,gso002 rho=-0.1167,gso008 rho=-0.0333),说明 MV depth error 适合做 carrier-relative 安全预算,而不是直接排序所有候选。
- 论文价值:A58 将后验编辑的失败链条推进到一个可发表的方向——不是简单 A+B 融合,而是把 VGGT 的多视角观测一致性变成 geometry refinement 的约束预算。
下一步想法
- A59:把
mv_depth_error_exceeds_carrier接回 10-case routed pipeline,比较 A53/A55/A58 的 selected aggregate。 - 加入 silhouette IoU 和 per-view worst-case depth error,避免平均 MV depth error 掩盖某个视角严重失败。
- 把 carrier-relative budget 从后验编辑推进到 generation-time:在 diffusion step 中保持候选能解释输入视角,而不是生成后再修。
- 扩展到 20-view render metrics,验证 A58 的 no-GT 选择是否也改善可视化质量。