实验 64:A58 Multi-view Render Consistency

正向突破:用输入视角 render depth consistency 做 carrier-relative 编辑预算

实验定位 正向突破 / 需扩展验证

A58 接在 A57 后面:A57 证明 surface proxy drift 会和 GT Chamfer 脱节,因为它测的是旧 conflict 采样点到新表面的距离。A58 换了一个更接近输入观测的 no-GT 质量信号:把每个迭代候选 mesh 渲染回 4 个输入相机,计算 rendered depth 与 VGGT depth 的多视角一致性误差。

推荐判据 mv_depth_error_exceeds_carrier 第一次在后验编辑链条里同时让平均 Chamfer 和 F@5 优于 carrier:mean ΔChamfer=-0.0000375,mean ΔF@5=0.005816。它还在 gso002 上选择 iter 8,和 GT Chamfer oracle 完全一致。

实验设计(Image-2 风格)

实验设计图:A58 multi-view render consistency
实验设计图:A58 multi-view render consistency
模块设计图:carrier-relative consistency budget
模块设计图:carrier-relative consistency budget

模块设计(Image-2 风格)

Render-consistency Gate

  • 编辑信号仍沿用 A56/A57:VGGT depth residual 驱动 outward step。
  • 质量信号改为 candidate mesh 渲染到 4 个输入视角后的 depth error。
  • 对每个视角用 carrier depth context 做 scale alignment,避免跨视角尺度漂移。
  • mv_depth_error_exceeds_carrier:只要 MV depth error 还低于 carrier,就允许继续编辑。
  • 选择过程不使用 GT;GT 只做回顾验证。

Why It Matters

A58 的关键不是又加了一个 proxy,而是从“旧表面样本距离”转向“当前候选是否仍能解释输入观测”。这更接近多视角重建的本质:mesh 可以离开旧 conflict points,但不能离开输入视角中的可见几何。

实验结果(表格)

Stopping criterion 对比

criterionmean ΔChamfermean ΔF@5stop itersmean stop iter
mv_depth_error_stops_improving0.00002150.003685[3, 2, 2]2.3
mv_depth_error_exceeds_carrier-0.00003750.005816[1, 8, 5]4.7
conflict_p95_stops_improving_a570.00026720.000399[2, 1, 1]1.3
gt_chamfer_oracle-0.00055810.011463[3, 8, 8]6.3

MV depth error 与 Chamfer 相关性

caseSpearman rhop-value
gso_000_input40.46670.2054
gso_002_input4-0.11670.7650
gso_008_input4-0.03330.9322

gso_000_input4:GT oracle iter 3

iterChamferΔChamferF@5MV depth errorΔMVDconflict p95OBJ
00.0666570.00000000.4944870.0568490.0000000.015515OBJ
10.066445-0.00021220.4942460.0568720.0000240.015425OBJ
20.066358-0.00029890.4936600.0568650.0000170.015402OBJ
30.066241-0.00041590.4949990.056792-0.0000560.015859OBJ
40.066365-0.00029160.4954930.056824-0.0000250.016351OBJ
50.0667860.00012970.4933530.0568800.0000310.017049OBJ
60.066598-0.00005860.4943760.056820-0.0000290.017909OBJ
70.0666730.00001670.4859130.0569230.0000740.018813OBJ
80.066427-0.00022980.4931600.0569650.0001160.019199OBJ

gso_002_input4:GT oracle iter 8

iterChamferΔChamferF@5MV depth errorΔMVDconflict p95OBJ
00.0509630.00000000.6409660.0802720.0000000.019212OBJ
10.050625-0.00033760.6437380.079337-0.0009350.019213OBJ
20.050180-0.00078340.6500120.079172-0.0011000.019917OBJ
30.050404-0.00055870.6489150.079370-0.0009020.020515OBJ
40.050281-0.00068180.6493320.079046-0.0012260.020073OBJ
50.049950-0.00101280.6516930.079135-0.0011380.020732OBJ
60.049397-0.00156580.6546750.079388-0.0008840.020976OBJ
70.049376-0.00158690.6549050.079509-0.0007630.022302OBJ
80.049358-0.00160530.6565660.079467-0.0008050.023377OBJ

gso_008_input4:GT oracle iter 8

iterChamferΔChamferF@5MV depth errorΔMVDconflict p95OBJ
00.1354930.00000000.1865020.0482950.0000000.009218OBJ
10.1369310.00143820.1857540.047878-0.0004170.009343OBJ
20.1367570.00126370.1879980.047797-0.0004980.010115OBJ
30.1384670.00297400.1825900.048026-0.0002690.011660OBJ
40.1379540.00246110.1859090.048008-0.0002870.013604OBJ
50.1371980.00170510.1885920.048034-0.0002610.015400OBJ
60.1375390.00204620.1946030.0498720.0015770.016393OBJ
70.1380110.00251800.1926540.0506600.0023660.016853OBJ
80.1358400.00034680.2047800.0511180.0028240.018509OBJ

可视化结果

A58 Chamfer trajectory
A58 Chamfer trajectory
A58 multi-view depth error trajectory
A58 multi-view depth error trajectory

实验结论

下一步想法