实验定位 Oracle 正结果 / 不可直接部署
A22 回答 A21 留下的问题:如果 3D silhouette-support 分不出 gso_008 的 baseline 与 repair,depth/normal 几何信号能不能分出来?这里使用 GSO GT mesh 作为 诊断 oracle,只验证信号价值,不把它当作无 GT 部署方法。
结论:可以。repair_hybrid 的 mask IoU 平均略高,但 depth_abs 平均比 baseline 变差 0.00510,normal_cos 平均下降 -0.0042。对 gso_008,repair depth error 增加 0.08539,normal_cos 降低 -0.0375,正好解释 A21 漏检的几何错误。
实验设计(Image-2 风格)
模块设计(Image-2 风格)
Oracle Purpose
test whether depth/normal reprojection explains failures missed by silhouette-only support
GT 使用范围:diagnostic oracle only; not deployable routing
部署替代:VGGT-predicted depth/normal or multi-view estimated geometry should replace GT in a real method
Gate Rules
- reject repair if GT-oracle depth error worsens by > 0.005
- reject repair if GT-oracle normal cosine worsens by > 0.01
- keep A20 2D visible-safe rejection as a hard reject
实验结果(表格)
| 方法 | case | mask IoU | depth abs ↓ | normal cos ↑ | normal angle ↓ |
|---|---|---|---|---|---|
| baseline | 10 | 0.5167 | 0.22846 | 0.6408 | 42.61 |
| repair_hybrid | 10 | 0.5370 | 0.23356 | 0.6366 | 43.12 |
逐 case oracle gate
| case | A22 gate | baseline depth | repair depth | depth Δ | baseline normal | repair normal | normal Δ | GT Chamfer Δ | GT F@5 Δ | A20 gate | A21 gate | 原因 |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| gso_000_input4 | reject | 0.16824 | 0.17563 | 0.00739 | 0.6578 | 0.6439 | -0.0138 | -0.00160 | 0.0202 | True | True | ['repair worsens GT-oracle depth', 'repair worsens GT-oracle normal'] |
| gso_001_input4 | reject | 0.30326 | 0.30168 | -0.00159 | 0.4280 | 0.4272 | -0.0009 | -0.00105 | 0.0082 | False | False | ['A20 2D visible-safe gate rejects repair'] |
| gso_002_input4 | pass | 0.28414 | 0.19594 | -0.08820 | 0.6543 | 0.7463 | 0.0920 | -0.00377 | 0.0502 | True | True | [] |
| gso_003_input4 | reject | 0.15021 | 0.15362 | 0.00341 | 0.8661 | 0.8659 | -0.0002 | -0.00005 | -0.0041 | False | False | ['A20 2D visible-safe gate rejects repair'] |
| gso_004_input4 | reject | 0.20557 | 0.20559 | 0.00002 | 0.5983 | 0.6003 | 0.0020 | -0.00041 | 0.0032 | False | False | ['A20 2D visible-safe gate rejects repair'] |
| gso_005_input4 | reject | 0.21077 | 0.21074 | -0.00003 | 0.6420 | 0.6394 | -0.0025 | 0.00119 | -0.0079 | False | False | ['A20 2D visible-safe gate rejects repair'] |
| gso_006_input4 | reject | 0.20837 | 0.24691 | 0.03854 | 0.5604 | 0.5020 | -0.0584 | 0.00144 | 0.0204 | False | False | ['repair worsens GT-oracle depth', 'repair worsens GT-oracle normal', 'A20 2D visible-safe gate rejects repair'] |
| gso_007_input4 | reject | 0.32530 | 0.33061 | 0.00532 | 0.5298 | 0.5138 | -0.0161 | 0.00281 | -0.0188 | False | False | ['repair worsens GT-oracle depth', 'repair worsens GT-oracle normal', 'A20 2D visible-safe gate rejects repair'] |
| gso_008_input4 | reject | 0.36445 | 0.44984 | 0.08539 | 0.6009 | 0.5635 | -0.0375 | 0.00474 | -0.0168 | False | False | ['repair worsens GT-oracle depth', 'repair worsens GT-oracle normal', 'A20 2D visible-safe gate rejects repair'] |
| gso_009_input4 | pass | 0.06433 | 0.06508 | 0.00075 | 0.8703 | 0.8634 | -0.0069 | -0.00006 | -0.0029 | True | True | [] |
可视化结果
gso_008 depth / normal oracle panels




实验结论
- A22 证明了 A21 的限制:silhouette-support 可以判断轮廓覆盖,却不能稳定判断可见曲面的深度位置和法线方向。
- repair_hybrid 平均 mask IoU 从 0.5167 提高到 0.5370,但 depth_abs 从 0.22846 变差到 0.23356,normal_cos 从 0.6408 降到 0.6366。
- gso_008 被 A22 强力拒绝:depth Δ=0.08539,normal Δ=-0.0375,同时事后 GT Chamfer Δ=0.00474,F@5 Δ=-0.0168。
- 这是一个 oracle 正结果:它不直接给无 GT 方法,但证明下一步应该用 VGGT 的预测 depth/normal 替代 GT oracle,构造 deployable geometry consistency gate。
- 论文创新点可以表述为:topology closure should be constrained by view-conditioned visible geometry, not only silhouette or mesh-internal topology.
下一步想法
- A23:调用 VGGT 对输入图预测 depth/normal/point map,用它替代 A22 的 GT oracle,形成真正无 GT 的 depth/normal gate。
- 把 A22 的 depth/normal loss 投回 sparse token/SLat 空间,约束生成阶段而不是后验筛选。
- 在 100-case 上统计 A20 silhouette loss、A21 3D support、A22 oracle depth/normal 与 Chamfer/F@5 的相关性,确定最终论文指标。
- 如果 VGGT depth/normal 噪声大,则做 confidence-weighted oracle imitation:只在 VGGT 高置信区域锁定 visible geometry。