实验定位 无效
这个实验检验最直接的想法:用 VGGT 判断每张输入图的几何可靠性,然后替换 multidiffusion 里默认的 1/V 等权平均。
实验设计(Image-2 风格)
模块设计(Image-2 风格)
本页的模块设计图已在“实验设计”区域并排展示;它描述输入视角、VGGT/TRELLIS.2 信号、门控/路由、mesh 输出和评测反馈之间的数据流。这里单独标出模块设计章节,方便按统一汇报格式阅读。
实验结果(表格)
| 方法 | 成功 | Chamfer ↓ | F@5% ↑ | 相对变化 | 判断 |
|---|---|---|---|---|---|
| uniform multidiffusion | 10/10 | 0.08161 | 0.4336 | 基线 | 基线 |
| VGGT confidence | 10/10 | 0.08146 | 0.4372 | Chamfer Δ=-0.000146; F@5 Δ=0.0035 | 不通过 |
| VGGT geometry | 10/10 | 0.08513 | 0.4393 | Chamfer Δ=0.003525; F@5 Δ=0.0057 | 不通过 |
VGGT 提取平均耗时 1.10 s/case,峰值 reserved 显存约 8.44 GiB。
可视化结果
实验结论
- VGGT confidence 对 Chamfer 只有约 0.18% 的相对改善,幅度太小,不能算有效。
- VGGT geometry 让 Chamfer 恶化约 4.3%,说明“全局好视角”不是多视角重建的正确抽象。
- 失败原因:不同视角通常是局部互补,而不是整张图好或坏;一个标量权重会压掉某些局部细节。
下一步想法
把 VGGT 从“全局视角权重”改成“空间局部几何约束”:每个 patch / voxel 的可信度不同,应该只在跨视角一致的空间区域影响 TRELLIS.2。