实验 6:Support-set Constrained VGGT Guidance

从失败模式中提炼出的论文主线:受约束的多视角几何一致性生成

实验定位 论文主线 / 待验证

这一页不是一个已经宣称成功的结果,而是基于前五轮实验形成的论文级研究假设:VGGT 的价值不在于给 TRELLIS.2 增加一个强条件,而在于提供局部几何可信域;生成模型只能在这个可信域内做受限轨迹修正。

实验设计(Image-2 风格)

实验设计图:从 VGGT 几何到受限 diffusion guidance
实验设计图:从 VGGT 几何到受限 diffusion guidance
模块设计图:support-set trust region
模块设计图:support-set trust region

模块设计(Image-2 风格)

本页的模块设计图已在“实验设计”区域并排展示;它描述输入视角、VGGT/TRELLIS.2 信号、门控/路由、mesh 输出和评测反馈之间的数据流。这里单独标出模块设计章节,方便按统一汇报格式阅读。

实验结果(表格)

已有尝试设计证据状态
VGGT 静态标量权重全局 confidence / geometry weightgeometry Chamfer Δ=0.003525,相对改善=-0.0432证伪
直接 spatial adapterVGGT residual 直接进 sparse 条件tokens 26→3134;Chamfer 恶化 19.39%证伪
baseline-preserving v2gate=0 精确复现 multidiffusionparity=True; step25 Chamfer=0.07727必要条件
alpha=0.25 单例residual 缩放 + support gateChamfer 0.06435 vs baseline 0.06764;support Jaccard 0.923局部有效
alpha=0.25 十例同一策略放大到 10 case失败 1/10;Chamfer 0.08325 vs 0.08316放大失败
hybrid repair后处理解决拓扑watertight=100.0%; Chamfer 0.08193 vs 0.08161拓扑有效

可视化结果

证据链可视化:哪些路线被证伪,哪些条件保留
证据链可视化:哪些路线被证伪,哪些条件保留

和现有方法的关系

相关方法核心能力本课题缺口 / 可借鉴点来源
TRELLIS.2结构化 3D latent / O-Voxel 思路强化生成质量缺口:多非正交图像条件下仍缺少显式相机/几何一致性约束;本实验看到非水密与面片过多project
VGGT从多图预测相机、深度、点图与跟踪,提供 feed-forward 几何观测缺口:VGGT 给几何观测,不直接告诉生成模型如何在 diffusion trajectory 中安全使用project
SyncDreamer通过同步多视角 diffusion 的中间状态来提升一致性启发:约束扩散过程本身;差异:我们的约束对象是 TRELLIS.2 sparse support,而不是只同步 RGB 视图project
MVDream用多视角扩散作为 3D 生成先验,强调跨视角一致图像生成启发:多视角一致性需要模型结构显式支持;差异:本课题输入是不定数量真实非正交图arXiv
Wonder3D++多视角法线/颜色联合生成,解决单图到 3D 的一致性问题启发:法线和几何信号有用;差异:我们已有 VGGT 几何点图,核心是如何不破坏 sparse latentarXiv

实验结论

下一步想法

消融编号设计要回答的问题通过门槛
A0 baselineTRELLIS.2 multidiffusion当前可靠基线Chamfer / F-score / watertight / faces / support set
A1 local confidence mask只在 VGGT 高置信 patch 允许 correction验证局部 mask 是否优于标量权重support drift 不超过阈值
A2 support-set loss训练时加入 Jaccard、centroid、token ratio 惩罚解决 alpha=0.25 安全区间太窄的问题10-case no-extra-failure
A3 decoder-aware band用 decoded occupancy band 约束 topology把 v5 中没改善的 occupancy gate 变成训练目标occupancy IoU improved cases > 0
A4 100-case matrix2/4/6/8 输入视角 + 20 test views验证是否泛化到真实多视角设置平均指标 + 失败率 + 拓扑指标

下一轮优先跑 A1/A2 的小规模 10-case ablation。只有 no-extra-failure、support drift 受控,并且 Chamfer 或 F@5 至少一项有配对改善时,才扩到 100-case / 2-4-6-8 输入矩阵。