实验定位 混合 / 方法可行但排序不足
A17 是 A16 之后的关键推进:不再只看 mesh 内部统计,而是把候选 mesh 渲染回输入的 4 个非正交相机,用输入前景 mask 与候选渲染 mask 的 silhouette IoU 作为无 GT 观测一致性信号。渲染分辨率为 64,选择阶段不使用 GT。
结果说明这个信号确实可计算,并且 silhouette_routed 的平均 IoU 最高;但单独优化 silhouette 仍不能保证 Chamfer/F-score 最优,也会选择非水密几何候选。因此下一步不是丢掉 silhouette,而是把它纳入 topology-hard + geometry-Pareto ranker。
实验设计(Image-2 风格)
模块设计(Image-2 风格)
输入信号
foreground masks estimated from the 4 input PNGs; candidate masks rendered by Blender from the same camera protocol
输入 mask 来自 alpha/非白像素自动估计,不使用人工标注和 GT mesh。
选择规则
mean silhouette IoU + watertight reward - area-ratio / topology / face-ratio penalties
max silhouette_score; GT metrics are used only for retrospective evaluation
实验结果(表格)
| 方法 | 成功 | Silhouette IoU | Silhouette score | Chamfer | Chamfer Δ | F@5 | F@5 Δ | faces | faces Δ | 水密率 |
|---|---|---|---|---|---|---|---|---|---|---|
| baseline | 10/10 | 0.4618 | 0.1307 | 0.08161 | - | 0.4336 | - | 950660 | - | 0.0% |
| ranker_selected | 10/10 | 0.4691 | 0.4089 | 0.08167 | 0.00006 | 0.4396 | 0.0059 | 406873 | -543787 | 90.0% |
| repair_hybrid | 10/10 | 0.4671 | 0.4446 | 0.08193 | 0.00032 | 0.4388 | 0.0052 | 443226 | -507435 | 100.0% |
| silhouette_routed | 10/10 | 0.4775 | 0.3834 | 0.08199 | 0.00039 | 0.4360 | 0.0024 | 360611 | -590049 | 80.0% |
| alpha025 | 9/9 | 0.4657 | 0.1262 | 0.08325 | 0.00009 | 0.4296 | 0.0008 | 1040042 | -14748 | 0.0% |
| selected_alpha | 9/9 | 0.4608 | 0.1219 | 0.08417 | 0.00101 | 0.4314 | 0.0026 | 1048883 | -5906 | 0.0% |
每个 case 的路由
| case | 最终选择 | 选中 IoU | baseline IoU | IoU Δ | Chamfer Δ | F@5 Δ | faces Δ | 水密率 |
|---|---|---|---|---|---|---|---|---|
| gso_000_input4 | repair_hybrid | 0.5783 | 0.4383 | 0.1400 | -0.00160 | 0.0202 | -10762 | 100.0% |
| gso_001_input4 | repair_hybrid | 0.2829 | 0.2842 | -0.0013 | -0.00105 | 0.0082 | 3056 | 100.0% |
| gso_002_input4 | repair_hybrid | 0.5783 | 0.5555 | 0.0228 | -0.00377 | 0.0502 | -1227506 | 100.0% |
| gso_003_input4 | repair_hybrid | 0.7443 | 0.7444 | -0.0001 | -0.00005 | -0.0041 | -2330592 | 100.0% |
| gso_004_input4 | repair_hybrid | 0.5584 | 0.5589 | -0.0006 | -0.00041 | 0.0032 | -1185334 | 100.0% |
| gso_005_input4 | repair_hybrid | 0.3475 | 0.3475 | 0.0000 | 0.00119 | -0.0079 | 9052 | 100.0% |
| gso_006_input4 | alpha025 | 0.4144 | 0.4152 | -0.0008 | 0.00102 | -0.0101 | -190162 | 0.0% |
| gso_007_input4 | repair_hybrid | 0.2460 | 0.2447 | 0.0013 | 0.00281 | -0.0188 | -258028 | 100.0% |
| gso_008_input4 | selected_alpha | 0.2461 | 0.2475 | -0.0014 | 0.00577 | -0.0139 | -32940 | 0.0% |
| gso_009_input4 | repair_hybrid | 0.7791 | 0.7818 | -0.0027 | -0.00006 | -0.0029 | -677274 | 100.0% |
选择来源统计
| 候选来源 | 次数 | 比例 |
|---|---|---|
| alpha025 | 1 | 10.0% |
| repair_hybrid | 8 | 80.0% |
| selected_alpha | 1 | 10.0% |
可视化结果
高于 baseline 的 0.4618,说明观测一致性信号有效。
仍比 baseline 略差,也差于 A15 ranker 的 0.00006。
因为选择了 2 个非水密几何候选,水密率低于 A15。
实验结论
- A17 成功把候选 mesh 渲染回输入非正交相机,并计算了无 GT silhouette IoU;这是 A16 缺失的“观测一致性”信号。
- silhouette_routed 选择 repair_hybrid 8 次、alpha025 1 次、selected_alpha 1 次;平均 IoU=0.4775,高于 baseline=0.4618。
- 但它的 Chamfer Δ=0.00039、F@5 Δ=0.0024、水密率=80.0%,整体不如 A15 的 topology-aware ranker 稳定。
- 结论:silhouette 是必要信号,但不能单独作为目标。论文路线应升级为 view-consistent topology-constrained Pareto routing:先拓扑硬约束,再用 silhouette/reprojection 与几何 proxy 做 Pareto 排序。
下一步想法
- A18:把 A17 的 silhouette IoU 作为 A15 ranker 的一项,而不是替代 topology gate;水密/非流形做硬约束,silhouette 与 face budget 做排序项。
- 引入多视角 mask 的 per-view worst-case 约束,避免平均 IoU 掩盖某个视角严重失败。
- 把 silhouette 从低分辨率 alpha mask 升级为 normal/depth/reprojection residual,尤其利用 VGGT point map 做输入视角 3D consistency。
- 把 Blender mask 缓存保留下来,后续可以扩展到 100-case,而不用重复渲染已有候选。