实验定位 像素级诊断正结果
A29 把 A28 的离散 lock map 升级成 per-pixel VGGT depth residual map。它复用 A23 的 VGGT depth cache 和 baseline/repair mesh,重新渲染候选 depth 到输入相机,并在每个视角做 robust scale align,得到 repair-base |depth residual|。
结果非常清楚:gso_002 的 repair 让 mean depth residual 改善 -0.02092,improve pixels=0.3660;gso_008 的 repair 让 mean depth residual 恶化 0.02270,worse pixels=0.3347。这把 A27/A28 的解释变成了像素级连续证据。
实验设计(Image-2 风格)
模块设计(Image-2 风格)
Legend
- VGGT depth:blue-red relative depth visualization after downsampling
- baseline/repair residual:absolute candidate depth residual against VGGT depth; colder means lower residual
- repair-base |res|:red means repair worsens residual, blue means repair improves residual
Why It Matters
相比 A28 的 mask-level 区域标签,A29 给出了连续 depth residual:红色像素是 repair 让可见几何远离 VGGT,蓝色像素是 repair 让可见几何更接近 VGGT。这可以直接变成训练 loss、采样 guidance 或 surface/token lock 权重。
实验结果(表格)
| case | baseline depth abs | repair depth abs | repair-baseline Δ | improve pixel ratio | worse pixel ratio |
|---|---|---|---|---|---|
| gso_002_input4 | 0.08838 | 0.06746 | -0.02092 | 0.3660 | 0.2277 |
| gso_008_input4 | 0.02385 | 0.04656 | 0.02270 | 0.1024 | 0.3347 |
逐视角 residual
| case | view | valid pixels | baseline depth abs | repair depth abs | repair-baseline Δ | improve pixels | worse pixels |
|---|---|---|---|---|---|---|---|
| gso_002_input4 | 0 | 2355 | 0.11408 | 0.05401 | -0.06007 | 0.7728 | 0.1792 |
| gso_002_input4 | 1 | 2268 | 0.07634 | 0.04071 | -0.03563 | 0.1861 | 0.0670 |
| gso_002_input4 | 2 | 1961 | 0.10033 | 0.11821 | 0.01789 | 0.3651 | 0.5783 |
| gso_002_input4 | 3 | 2296 | 0.06279 | 0.05691 | -0.00587 | 0.1398 | 0.0862 |
| gso_008_input4 | 0 | 209 | 0.02997 | 0.10900 | 0.07903 | 0.1148 | 0.8325 |
| gso_008_input4 | 1 | 895 | 0.01115 | 0.01612 | 0.00497 | 0.0324 | 0.1799 |
| gso_008_input4 | 2 | 406 | 0.04614 | 0.05270 | 0.00657 | 0.2217 | 0.2783 |
| gso_008_input4 | 3 | 912 | 0.00816 | 0.00841 | 0.00025 | 0.0406 | 0.0482 |
可视化结果





实验结论
- A29 是 A20-A28 这条线目前最强的诊断证据:它直接在像素级证明 gso_002 repair 是 depth-consistent improvement,而 gso_008 repair 是 depth-consistency degradation。
- gso_002:baseline depth abs=0.08838,repair depth abs=0.06746,Δ=-0.02092。
- gso_008:baseline depth abs=0.02385,repair depth abs=0.04656,Δ=0.02270。
- 这说明最终方法不应只是 silhouette repair gate,而应是 pixel-depth residual weighted observable-region constraint:visible region 内按 residual 决定锁定/拒绝/允许修复。
- 限制:当前 residual 由点采样 z-buffer 近似渲染,分辨率 96,仍是诊断图;下一步需要投影到 3D surface/token,并进入生成或修复过程。
下一步想法
- A30:把 A29 的 per-pixel depth residual 投影回 mesh surface,得到 visible-consistent / visible-conflict / closable surface 分类。
- 尝试只对 closable surface 做 repair/simplification,visible-conflict surface 回退 baseline,从后验分析走向真实 mesh 改写。
- 把 residual map 变成 sampler guidance:在 TRELLIS.2 sparse/SLat diffusion 中锁定高置信 visible-consistent token,惩罚 depth-conflict token。
- 扩展到 10-case:看 A29 residual 指标能否解释 A24/A27 的 false reject/false accept。