TRELLIS.2 + VGGT 多非正交视角融合研究 Hub

统一入口

课题路线图

不同尝试是否有效

研究脉络

• 先确定 TRELLIS.2 原生多图融合的上限和缺陷：几何指标强，但 topology 和 faces 不够可控。
• 再证伪简单 VGGT A+B：静态加权和直接 residual 注入都没有稳定收益。
• 随后进入更深的生成过程约束：精确 parity、support trust-region、state anchor、decoder-aware watertight。
• A14 的证据表明：candidate pool + decoder-preview risk filter + no-GT proxy ranker 在 2-seed 小样本上同时做到 seed1 抓收益、seed4 防劣化。
• A15 把候选池扩展到 10-case retrospective：topology candidate 能显著提升水密率、降低非流形边和面片数，但 Chamfer 略有代价，下一步需要无 GT 几何保真门控。
• A16 证伪了轻量 mesh-internal fidelity gate：只看 face ratio / topology / bbox 不能判断 repair 是否保持形状，下一步必须做输入视角 silhouette/reprojection consistency。
• A17 初步验证了 view-consistency silhouette gate 可落地：能把候选 mesh 渲染回输入相机并提高 IoU，但单独优化 silhouette 不能保证 Chamfer/水密同时最优。
• A18 把 topology hard gate 和 silhouette IoU 合并成 Pareto routing：Chamfer 均值略优 baseline、IoU 提升、面片数下降，但水密率仍只有 80%，需要继续做 per-view/per-case 修复路由。
• A19 对 A18 的 fallback case 做 per-view failure taxonomy：成功救援 over-coverage case，将水密率提升到 90%，同时保持 Chamfer/F@5 正向趋势。
• A20 对 gso_008 under-coverage hard case 做 visible-safe local repair probe：证明 repair 会删除输入可见支持，不能靠 naive 局部拼接硬救，下一步应转向 3D support field / depth-aware completion。
• A21 把 visible-safe 思路提升到 3D surface support field：表面点投影 + 自遮挡 z-buffer 可提供区域锁定基础，但 silhouette-support 仍不足以解释 gso_008，下一步必须加入 depth/normal reprojection。
• A22 用 GT oracle 验证 depth/normal 几何一致性：repair 虽然提高 mask IoU，但 depth/normal 平均变差，且能强力解释 gso_008；下一步要用 VGGT 预测几何替代 oracle。
• A23 把 A22 的 GT oracle 换成 VGGT 预测几何：VGGT depth 能抓坏修复，尤其 gso_006/gso_008；VGGT normal 目前由 world-points 有限差分估计，容易误拒 gso_002，说明下一步需要置信度校准。
• A24 对 A23 的 gate 做校准：把 depth 作为 hard anchor，normal 降级为 soft cue，救回 gso_002 并保留 gso_008 拒绝；但 A20 visible-safe 仍过保守，下一步要 per-view/per-region 化。
• A25 将 visible-safe 拆成 per-view/per-region taxonomy：regional gate 能减少误拒但引入误接收，depth-coupled 又过保守；结论是下一步必须做 depth-confidence-aware regional locking。
• A26 尝试把 regional taxonomy 与 VGGT depth/confidence 压成 case-level risk：能消除 A25 的误接收，但没有优于 A24，说明下一步必须做 per-pixel/per-region lock map，而不是标量门控。
• A27 对齐 per-view VGGT depth 与 visible evidence：成功解释 gso_002 可接受、gso_008 必须拒绝的差异；但整体路由仍混合，下一步要从 view-level 升到 pixel/region-level lock map。
• A28 将 A27 的 taxonomy 落成真实图像 lock map：首次可视化 visible-locked / conflict / unobserved-closable 区域，证明后续可以投影到 surface/token/SLat 作为生成期约束。
• A29 用 VGGT/candidate depth 生成 per-pixel residual map：gso_002 repair 在可见 depth 上净改善，而 gso_008 净恶化，说明 depth residual 可以成为真正局部约束项。
• A30 将 A29 的 pixel residual 投影到 repair mesh surface：gso_002 表面以 improved 为主，gso_008 表面以 conflict 为主，首次形成可指导 mesh 局部改写的 surface label。
• A31 把 surface-projected evidence 扩展到 10-case：能强力拒绝 gso_008 且 false reject=0，但误接收 gso_005/gso_007，说明“没有冲突”不能等同“修复成功”。
• A32 将 A31 改为 accept / reject / defer 三路路由：false accept 从 2 降到 0，F@5 Δ 提升到 0.0088，但仍有 3 个小收益 case 被 defer，下一步应做局部 surface edit。
• A33 将 A32 的 case-level route 映射为局部 surface edit state：repair-lock、baseline-revert、completion、defer。结果显示 direct editable ratio=0.3847，但 defer ratio=0.6153，说明下一步必须保存逐点 surface labels 才能真正编辑 mesh。
• A34 补上 A33 的 artifact 缺口：对 gso_002/gso_008 保存逐点 surface labels、per-view residual、patch id、彩色 PLY 和 patches.json，证明证据可以落到 3D surface patch。
• A35 将 A34 的 sample labels 投票到 repair mesh faces/vertices：输出 face/vertex mask、彩色 PLY 和 projection PNG，mean face confidence=0.9327，使 observable-state evidence 变成可编辑 mesh supervision。
• A36 用 A35 face mask 执行第一次真实 mesh edit：直接删除 conflict faces。结果证明 mask 可执行，但删除会导致 watertight_after_rate=0.000、boundary Δ=8201.5，所以必须做替换/平滑/补洞。
• A37 检验删除后的后处理闭合：普通 fill_holes 水密率=0.000，不能修复大洞；voxel closure 水密率=1.000，但会重采样表面并改变面片预算。结论是后验修补不是论文主线，observable-state 应进入生成期或局部 SDF/patch replacement。
• A38 将 conflict region 映射到 raw baseline 近邻 patch：TRELLIS.2 raw 在两个 focus case 都是 best proxy source，coverage@2%=65.7%、normal |cos|=0.7622，显著优于 TRELLIS raw；但 overlay 仍非水密，说明下一瓶颈是 boundary-aware stitching / local SDF completion。
• A39 对 A38 best patch 做三角面级 stitching：snap_bridge 能把 boundary edges 从 32095 降到 10123，但 components 和 nonmanifold 同时暴涨，证明局部距离近不等于拓扑可缝合；下一步应转向 local implicit/SDF constrained completion。
• A40 用 visible-kept surface 与 A38 replacement patch 构造 UDF implicit envelope：最佳轻量配置达到 watertight rate=100.0%、boundary=0、nonmanifold=0，说明隐式补全能避开 A39 的拓扑病变；但 visible drift=0.04150，仍需 signed/local constraints。
• A41 在 A40 上加入 visible-lock variable-radius UDF：visible p95 drift 最低降到 0.03210，但 components 增加到 5.5；说明可见锁定方向有效，但 unsigned shell 会断成多组件，下一步需要 signed/local SDF 或 component-aware cleanup。
• A42 对 A41 多组件做 component-aware cleanup：选择 visible/patch 支持最强的单组件后，components=1、watertight=100.0%、patch coverage@5=100.0%，说明 A41 多余壳可删除。
• A43 回到 GT 几何做审计：A42 相比 TRELLIS.2 raw 修复了拓扑并把 F@5 提到 0.4531，但 GT Chamfer=0.08827 仍落后 TRELLIS raw 的 0.05540。这说明后处理 prior 有价值，但真正创新点必须进入 signed/local SDF 或生成期 observable-state guidance。
• A44 将 A42 单组件水密 mesh 当作 signed/topology carrier 做表面投影：拓扑保持成功，visible proxy p95 从 0.03251 降到 0.02730，但 GT Chamfer 从 0.08930 变差到 0.09004。这证明全局 projection 会过拟合观测点云，下一步必须 conflict-local hard-lock。
• A45 把 A44 的全局 projection 收成 conflict-local signed residual：active vertex ratio 降到 31.7%，hard lock 达到 40.9%，且水密/单组件保持不变；但 GT Chamfer 仍从 0.08836 变差到 0.08886。结论是“局部性”必要但不充分，下一步必须解决 residual direction 的有符号正确性。
• A46 分离 residual direction：保留 A45 的局部活动区，只沿 carrier 法线做 signed/inward/outward 位移。结果显示 conflict proxy 可从 0.03746 降到 0.03254，但 GT Chamfer 变差到 0.08969；outward ratio 只有 3.5%，说明 patch-derived sign 大多驱动 inward shrink，必须引入 depth-derived sign。
• A47 用输入视角 VGGT depth residual 替代 patch-derived sign：depth_outward_only 把 Chamfer 从 0.08950 降到 0.08823，F@5 从 0.4483 提到 0.4539，且拓扑保持水密/单组件。depth_inward_only proxy 更好但 GT 更差，证明 surface proxy 会奖励错误内缩。
• A48 将 A47 候选转成 no-GT selector：depth-sign confidence gate 的 Chamfer=0.08819，几乎贴近 oracle=0.08818；surface_proxy_min 选择 inward-only，Δ Chamfer=0.00087，明确证明 proxy-only 会选错。
• A49 补齐 10-case depth-sign 扩展的第一层 artifact：A31 的 10/10 case 都生成 surface labels、patch clusters、PLY 和 PNG panels，平均 observed ratio=95.3%，conflict ratio=15.2%。这使后续 A35 mask、A42 carrier、A47/A48 rerun 有了基础。
• A50 将 A49 的 sample-level evidence 投票到 repair mesh faces/vertices：10/10 case 生成 mask NPZ、face PLY、vertex PLY，mean face confidence=0.9404，mean vertex confidence=0.9758。这使 10-case local residual/hard-lock/defer routing 有了可执行 mesh mask。
• A51 将 A23 repair_hybrid 固化为 10-case topology carrier package，并与 A50 mask 对齐：carrier-ready=8/10，其中 high-value depth-sign target=2、standard depth-sign target=1、low-conflict defer=5、not-ready defer=2。这个结果把“能编辑”和“值得编辑”分开，形成 A52 的 no-GT route。
• A52 将 A51 route 接到 A47/A48 depth-sign residual：3 个 ready case 编辑，7 个 defer case 保持 carrier。全 10-case selected ΔChamfer=-0.000083、ΔF@5=0.001326；active case 中 gso000/gso002 双指标正向，gso008 F@5 正向但 Chamfer 反向，说明下一步要做 multi-objective selector。
• A53 用 no-GT saturation guard 修正 A52 selector：gso000/gso002 保持 signed-strong，gso008 因 high conflict saturation 且所有 proxy 恶化而回退 carrier。推荐 selector mean ΔChamfer=-0.000209，几乎贴近 GT oracle，但 F@5 增益低于 A52，明确暴露 Chamfer/F-score tradeoff。
• A54 对 gso008 做 saturated conflict step calibration：小步 outward 不再伤 Chamfer，GT Chamfer 最佳 outward_step006 达到 ΔChamfer=-0.000232；proxy-safe selector 选 outward_step002，更保守但也正向。这说明 A53 的 carrier fallback 可以升级为 calibrated small-step residual。
• A55 审计 A54 候选池上的 step-size selector：无 GT 的 largest_outward_within_drift_budget 选择 outward_step006，ΔChamfer=-0.000232、ΔF@5=0.000952，并在该候选池中匹配 GT Chamfer oracle。它把 A54 的保守 step002 推进到 calibrated step006，但仍需 10-case 验证。
• A56 测试迭代残差重计算：3 个 active case 全部在 iter 2 收敛，但 iter 1 才是 Chamfer 最佳。no-GT ΔChamfer=0.000675（恶化），证明 depth residual 景观平坦，迭代收敛不如 A54 固定步长 + A55 selector。这是关键负结果：确认了"扫描+选择"优于"迭代收敛"。
• A57 用表面 proxy drift 替代 depth residual 作迭代停止判据：proxy 比 residual 更敏感（mean stop iter 从 2 降到 1.3），但仍无法超越 carrier。关键发现是 proxy 与 GT Chamfer 根本性脱节——gso_002 的 conflict_p95 在 iter 1 就恶化，但 GT Chamfer 在 iter 7 才最佳。这证明 post-hoc editing 无法自我纠错。
• A58 将停止/选择信号从 surface proxy 换成 multi-view render consistency：candidate mesh 渲染回 4 个输入相机后与 VGGT depth 对齐，mv_depth_error_exceeds_carrier 达到 mean ΔChamfer=-0.0000375、mean ΔF@5=0.005816。这是后验编辑链条中第一个 no-GT 双指标正向判据，说明“当前候选能否解释输入视角”比“旧 surface sample 距离”更接近论文主线。
• A59 把 A58 接回 10-case pipeline 后，统一重评估显示 MV budget 不能直接替代 A53：A58 router mean ΔChamfer=0.0001795、ΔF@5=0.000588，而 A53 saturation guard 仍是 Chamfer 最稳的 no-GT 路线。这把 A58 从“最终 selector”降级为“recall signal”，下一步应做 A53 hard guard + A58 MV recall 的层级组合。
• A60 实测层级方案后，确认 MV consistency 不能作为 A53 外围 hard veto 或 hard recall：它会在 gso002 上 false reject 一个 GT Chamfer/F@5 都明显变好的编辑。A53 仍是当前 no-GT 主路线，MV consistency 更适合作 soft diagnostic、per-view warning 或 generation-time loss。
• A61 把 hard MV gate 改成 mean/worst/std 的 soft Pareto score 后仍没有超过 A53：最好的 no-GT soft MV selector a61_min_mean_mvd mean ΔChamfer=0.0000166，比 A53 差 0.0004337。这说明后验选择器已经接近上限，下一步应转向 generation-time per-step MV support/depth budget。
• A62 做 budget placement audit：A10 证明 sampler-time token band 可执行，能把 selected/control token 偏差从 141.0 压到 1.0；但 A11 证明 token-only 不够，controlled full generation ΔChamfer=0.0005456、水密率=0.0%。结论是下一步方法要做 observable-state sampler budget，而不是继续做后验 selector。
• A63 测试 observable-state 的最小版本：只用 support geometry（token、extent、centroid、empty、flat sheet）。它抓到 seed1 collapse，但漏掉 seed4 token-safe geometry drift：support_geometry_detected=1/2，false_negative=1。这说明 A64 必须加入 per-step VGGT depth/silhouette residual。
• A64 把 global MV residual 拆成 per-view residual：best no-GT selector a64_min_view_spread active-case ΔChamfer=-0.0001264，比 A61 的 global mean 更好，但仍距离 GT oracle 0.0004317。gso008 出现 all-view-improve 但 Chamfer 变差的反例，说明下一步要做 per-region signed residual。
• A65 将 A64 的 per-view residual 拆到 surface region + signed depth direction：best no-GT selector a65_min_region_spread active-case ΔChamfer=-0.0001943，比 A64 进一步改善；同时 gso008 iter1 被标记为 local damage，说明 all-view-improve 的盲点来自局部可信区损伤。但手写 signed-risk 公式仍会早停选错，下一步应把区域预算放进 sampler-time，而不是继续调后验线性权重。
• A66 把 A65 的区域信号做成 online budget replay：strict visible stop 被证伪，过保守且损失 F@5；uncertainty-conditioned damping 在 replay 中达到 ΔChamfer=-0.0004091，但 ΔF@5=-0.000644 为负。结论是 saturated-conflict case 需要 micro-step damping，但下一步必须做 per-vertex λ 和 coverage/recall 约束。
• A67 将 A66 的 global λ 拆成 per-region vertex λ：实现上可行且保持水密，但固定手写 λ 没有超过 A66，best_by_chamfer 仍是 a66_uncertainty_damped_budget。局部 case 显示 gso002 的 visible-preserving、gso008 的 coverage-friendly 能同时改善 Chamfer/F@5，说明下一步要做 case-adaptive 或 learned λ router。
• A68 将 A67 的 case 差异转成 no-GT adaptive λ router：gso000 选 A66 global，gso002 选 visible-preserving，gso008 选 coverage-friendly，得到 ΔChamfer=-0.0005158、ΔF@5=0.002714，优于任一固定策略。但这是 3-case 小样本，需要 A69 做 leave-one-out 或 10-case stress test。
• A69 对 A68 做 leave-one-out 和阈值扰动审计：LOO joint=-0.0006242，仍优于固定 A66 的 -0.0005395，但弱于 full A68 的 -0.0007329。285 个阈值组合中 100.0% 优于 A66，但只有 50.5% 完全复现 A68，说明 adaptive family 稳，exact threshold 不稳。
• A70 将 A68/A69 active-only router 扩展回 A51 的 10-case route set：7 个 defer/low-conflict case 全部保持 carrier，false activation=0。A70-A68 mean ΔChamfer=-0.0001547，优于 A52 但不如 A53；mean ΔF@5=0.000814，为正但弱于 A52。这说明 readiness gate 有效，但 hard threshold router 还没有统一解决 Chamfer/F-score tradeoff。
• A71 将 A52/A53/A70 selected OBJ 放到同一个 evaluator 下重评估：A53 仍是 best_by_chamfer/best_by_joint，mean ΔChamfer=-0.0002689；A52 仍是 F@5 最强；A70-A68 零误激活但 ΔChamfer=-0.0001217、ΔF@5=0.000839。这把 adaptive hard router 从“可能胜出”降级为“安全但未统治”，下一步应做 continuous λ predictor。
• A72 对 continuous λ 做可证伪上限检查：carrier→A68 selected policy 的同拓扑插值中，3/3 active case 有 Chamfer headroom、2/3 有 joint headroom；10-case oracle joint=-0.0003038 优于 hard λ=1 的 -0.0002662。但弱 proxy 全部选 λ=0，且 scalar oracle 仍未超过 A53，说明下一步必须从 scalar λ 升到 per-region/per-vertex predictor。
• A73 将 scalar λ 升级为四类 region 独立 λ：3/3 active case 的 per-region oracle joint 都优于 hard，10-case oracle joint=-0.0003089，略优于 A72 scalar oracle=-0.0003038；weak proxy 也不再退回 0。但 per-region oracle 仍低于 A53 reference，说明后验插值上限有限，下一步要做 Pareto ranking predictor 或 sampler-time regional budget。
• A74 对 A73 frontier 做 leave-one-case-out ranker audit：lambda-only no-GT 特征只能把 weak proxy 从 -0.0000296 小幅推到 LOO joint=-0.0000504，仍不如 hard λ=1 / moderate scalar=-0.0001506，更远低于 A73 oracle=-0.0003089。结论是候选自身 λ 结构不足以判断视角条件下的 edit validity，下一步必须加入 VGGT/MV observation residual 或 sampler-time regional budget。
• A75 把 A64/A65 的 observation state 接到 A73 frontier selection：diagnostic prior 复现 3/3 oracle，LOO observation router 匹配 2/3 oracle，joint=-0.0002769，明显优于 A74 LOO=-0.0000504 和 hard λ=1=-0.0001506。但 A75 仍是 case-level bridge audit，下一步要做 candidate-specific render residual 或 sampler-time regional guidance。
• A76 兑现 A75 的 candidate-specific residual：77 个 A73 λ mesh 都被渲染回输入视角并计算 MV/per-region residual。但直接 post-hoc 排序失败，best no-GT=hard_lambda_1，joint=-0.0001506，只接近 hard λ=1，远弱于 A75 LOO=-0.0002769。这说明 observation residual 应进入 sampler-time regional budget，而不是生成后选“最贴近 VGGT depth”的 mesh。
• A77 将 A76 的结论推进到 sampler-time replay：简单 online damage stop 和 MV-safe accept 都失败，预注册 no-GT 中 A66 仍最好，joint=-0.0009299；但回顾诊断的 observation route v2 复现 oracle，joint=-0.0014752。这不是泛化证明，而是把关键状态变量收窄到 late-safe global gain、visible-region recovery 和 saturated local damage。
• A78 将 A77 v2 做成 LOO 阈值审计：held-out 选择不看 GT，2/3 匹配 oracle，LOO joint=-0.0010410，比 A66 改善 0.0001111；但 gso008 held-out 失败，说明训练集中缺 visible-recovery 状态类型。V2 必须扩 observation-state 覆盖，V3 才能交付真正架构版本。
• A79 将 observation-state 扩展到 10-case route/evaluator 证据：required proxy states=5/5，但 full sampler trajectory 只覆盖 3 类。结论是 A78 的失败更像状态覆盖不足，而不是 observation-state 方向无效。
• A80 交付当前高潜力架构版本：VGGT-guided Regional Budget Sampler。核心是 VGGT Observation Encoder + Surface-region State Tokenizer + Region Budget Head + TRELLIS.2 sparse/SLat Sampler Controller，把多视角约束放进 denoising-time per-region budget，而不是 mesh 后处理或 GPT 正交重绘。

下一轮研究计划

已有详细报告入口