实验定位 正向 mask step / 尚未改拓扑
A35 把 A34 的 surface sample evidence 投票到真实 repair mesh 的 faces 和 vertices 上。方法是:每个 face centroid 找最近 5 个 surface samples 做标签多数票,再用 incident faces 的加权投票得到 vertex label。这样生成的 mask 可以被后续 mesh edit 或 generation guidance 直接使用。
结果:mask npz=2/2,face PLY=2/2,vertex PLY=2/2;mean face confidence=0.9327,mean vertex confidence=0.9835。
实验设计(Image-2 风格)
模块设计(Image-2 风格)
Voting Rule
- face vote:face centroid 的 kNN surface sample majority,k=5。
- vertex vote:incident face labels 按 face confidence 加权投票。
- tie priority:conflict 优先于 improved,避免可见冲突被平均掉;unobserved 次之,neutral 最弱。
- outputs:face_vertex_masks.npz、mesh_face_mask.ply、mesh_vertex_mask.ply、PNG projection。
Why It Matters
A35 把 VGGT observable-state evidence 从点云推进到了 mesh supervision。后续可以对 conflict faces 做回退,对 improved faces 做锁定,对 neutral/unobserved faces 做弱约束补全。这比 case-level 选择更接近论文方法。
实验结果(表格)
| case | mesh faces | mesh vertices | face conf | vertex conf | face improved | face conflict | face neutral | face unobserved | mask NPZ | face PLY | vertex PLY |
|---|---|---|---|---|---|---|---|---|---|---|---|
| gso_002_input4 | 234960 | 117482 | 0.9123 | 0.9766 | 0.6159 | 0.1972 | 0.1614 | 0.0255 | /home/jiachen/TRELLIS/experiments/nonorthogonal_gpt_orthoview/outputs/data_survey/vggt_spatial_adapter/support_guidance_a35_mesh_face_vertex_mask/gso_002_input4/face_vertex_masks.npz | /home/jiachen/TRELLIS/experiments/nonorthogonal_gpt_orthoview/outputs/data_survey/vggt_spatial_adapter/support_guidance_a35_mesh_face_vertex_mask/gso_002_input4/mesh_face_mask.ply | /home/jiachen/TRELLIS/experiments/nonorthogonal_gpt_orthoview/outputs/data_survey/vggt_spatial_adapter/support_guidance_a35_mesh_face_vertex_mask/gso_002_input4/mesh_vertex_mask.ply |
| gso_008_input4 | 827994 | 413999 | 0.9532 | 0.9905 | 0.1726 | 0.6948 | 0.1325 | 0.0001 | /home/jiachen/TRELLIS/experiments/nonorthogonal_gpt_orthoview/outputs/data_survey/vggt_spatial_adapter/support_guidance_a35_mesh_face_vertex_mask/gso_008_input4/face_vertex_masks.npz | /home/jiachen/TRELLIS/experiments/nonorthogonal_gpt_orthoview/outputs/data_survey/vggt_spatial_adapter/support_guidance_a35_mesh_face_vertex_mask/gso_008_input4/mesh_face_mask.ply | /home/jiachen/TRELLIS/experiments/nonorthogonal_gpt_orthoview/outputs/data_survey/vggt_spatial_adapter/support_guidance_a35_mesh_face_vertex_mask/gso_008_input4/mesh_vertex_mask.ply |
可视化结果


实验结论
- A35 是明确正向进展:A34 的 sample labels 已经成功映射到 repair mesh faces/vertices,且 mean face confidence=0.9327,说明近邻投票没有明显崩坏。
- gso_002 与 gso_008 的差异在 face mask 层仍保留:A35 的 face improved/conflict 比例可以直接作为局部锁定/回退区域。
- 这一步仍不是 topology edit:mesh 顶点和面没有移动,也没有删除/替换 faces;它输出的是可编辑 mask 和监督信号。
- tie priority 让 conflict 优先,是为了避免坏 repair 的可见冲突被 neutral/improved 平均掉。这个设计更保守,符合“先保护输入可见几何”的原则。
- 下一步 A36 应该尝试最小真实编辑:先不做复杂重拓扑,只输出 conflict-face removed / masked mesh 或 baseline-nearest replacement 的原型,并检查 watertight/边界变化。
下一步想法
- A36:基于 face mask 做最小局部 mesh edit。第一版可以只删除或隐藏 conflict faces,观察 boundary/nonmanifold 和输入视角可见一致性变化。
- 实现 conflict-face smoothing:用 patch graph 合并小碎片,避免 mask 噪声直接破坏 mesh。
- 尝试 baseline-nearest replacement:对 conflict region 找 baseline 最近 surface/face,生成替换候选。
- 把 face/vertex mask 映射到 TRELLIS.2 token/SLat,作为 generation-time guidance 的监督近似。