实验定位 正向 artifact step / 尚未编辑 mesh
A34 补上 A33 明确指出的关键缺口:A30/A31 之前只保存了 summary 和 PNG,没有保存逐点 surface evidence。本轮重跑 gso_002/gso_008 的 surface projection,并把每个 repair surface sample 的 3D 坐标、标签、patch id、per-view depth residual delta 都持久化到磁盘。
结果:persisted npz=2/2,ply=2/2,patch json=2/2;mean patch count=45,mean observed sample ratio=0.9925。这使 A35 可以真正做 patch-level mesh edit,而不再停留在 case-level 路由。
实验设计(Image-2 风格)
模块设计(Image-2 风格)
Label Semantics
- surface_improved:repair surface is closer to VGGT visible depth than baseline
- surface_conflict:repair surface is farther from VGGT visible depth than baseline
- surface_neutral:visible but residual change is small or mixed
- unobserved_closable:not supported by input views; candidate area for weak completion
Persisted Artifacts
- surface_samples_labels.npz:points、label_ids、patch_ids、per_view_depth_delta、mean_depth_delta。
- surface_samples_labeled.ply:带颜色和 patch id 的 3D 点云,可直接查看。
- patches.json:每个 patch 的 label、sample_count、ratio、centroid、mean_radius。
- PNG panels:标签投影和 patch 聚类可视化。
实验结果(表格)
| case | samples | patches | small patches <1% | largest patch ratio | improved | conflict | neutral | unobserved | observed | NPZ | PLY |
|---|---|---|---|---|---|---|---|---|---|---|---|
| gso_002_input4 | 20000 | 70 | 63 | 0.6637 | 0.6606 | 0.1651 | 0.1595 | 0.0149 | 0.9851 | /home/jiachen/TRELLIS/experiments/nonorthogonal_gpt_orthoview/outputs/data_survey/vggt_spatial_adapter/support_guidance_a34_persistent_surface_labels/gso_002_input4/surface_samples_labels.npz | /home/jiachen/TRELLIS/experiments/nonorthogonal_gpt_orthoview/outputs/data_survey/vggt_spatial_adapter/support_guidance_a34_persistent_surface_labels/gso_002_input4/surface_samples_labeled.ply |
| gso_008_input4 | 20000 | 20 | 16 | 0.7027 | 0.1632 | 0.7016 | 0.1349 | 0.0003 | 0.9998 | /home/jiachen/TRELLIS/experiments/nonorthogonal_gpt_orthoview/outputs/data_survey/vggt_spatial_adapter/support_guidance_a34_persistent_surface_labels/gso_008_input4/surface_samples_labels.npz | /home/jiachen/TRELLIS/experiments/nonorthogonal_gpt_orthoview/outputs/data_survey/vggt_spatial_adapter/support_guidance_a34_persistent_surface_labels/gso_008_input4/surface_samples_labeled.ply |
可视化结果




实验结论
- A34 是一个明确的正向 artifact step:逐点 surface evidence 已经从“图上看得到”变成“文件里可复用”。
- gso_002/gso_008 的标签差异被保留下来:mean improved=0.4119,mean conflict=0.4334,但两个 case 混合在一起的均值不是最终判断,具体 case 仍要看表格和 patch 可视化。
- patch_count 较高说明局部 evidence 是碎片化的,直接按点编辑 mesh 会产生噪声;下一步必须先做 patch-level smoothing / graph cut。
- 运行中无效像素和未观测点会产生空均值 warning;这些点已经通过 observed_sample_ratio 和 unobserved_closable 标签处理,不参与有效 depth residual 统计。
- 限制仍然清楚:A34 输出的是 labeled surface samples 和 patch clusters,不是 edited mesh;真正证明质量提升要到 A35。
下一步想法
- A35:用 A34 的 patch labels 生成最小编辑产物:colored mesh mask 或 vertex-level mask,先证明标签能映射到 mesh vertices/faces。
- 对 surface_conflict patch 回退 baseline 近邻 surface,对 surface_improved patch 锁定 repair,对 neutral patch 不做硬替换。
- 引入 patch graph smoothing,减少 DBSCAN 小碎片对 mesh edit 的污染。
- 把 patch id 映射到 TRELLIS.2 token/SLat 空间,尝试 generation-time observable-state guidance。