实验 3:VGGT 空间适配器

直接空间注入导致 sparse occupancy 爆炸

实验定位 无效

这个实验把 VGGT 从静态权重升级为空间 residual:让模型知道哪里有跨视角一致的 3D 几何。但第一版暴露了 TRELLIS.2 sparse flow 对条件扰动极度敏感。

实验设计(Image-2 风格)

实验设计图:VGGT token 到空间 residual
实验设计图:VGGT token 到空间 residual
模块设计图:occupancy 爆炸根因
模块设计图:occupancy 爆炸根因

模块设计(Image-2 风格)

本页的模块设计图已在“实验设计”区域并排展示;它描述输入视角、VGGT/TRELLIS.2 信号、门控/路由、mesh 输出和评测反馈之间的数据流。这里单独标出模块设计章节,方便按统一汇报格式阅读。

实验结果(表格)

方法Chamfer ↓F@5% ↑F@10% ↑面片数boundary / nonmanifold判断
uniform multidiffusion0.067640.47720.722413496260 / 345基线
VGGT spatial adapter step1000.080760.38030.675715979586606 / 8808强负面

可视化结果

Sparse token 爆炸图
Sparse token 爆炸图

uniform sparse tokens=26,adapter tokens=3134,occupancy fraction 从 0.000793 到 0.095642。

实验结论

下一步想法

构建 baseline-preserving adapter:保留每张图独立 condition,VGGT 只生成逐视图 residual;所有 residual 都要经过 token ratio、support Jaccard、centroid drift 门控。