TRELLIS 非正交输入与 GPT 正交化实验报告

5 个 ReconViaGen 多图 case,对比“原始非正交多图直接输入 TRELLIS”和“先用 GPT 转成 front/left/right/back 正交视图再输入 TRELLIS”。

核心结论

TRELLIS 的 multi-image pipeline 对非正交输入并不是立即崩溃:chair、monkey、robot、toolcar 都能形成可旋转 mesh,flower 也能恢复主要花盆和花束体量。

GPT 正交化只有在视图真的互相一致、方向明确时才有帮助。本次实验中 monkey 和 toolcar 有明显正向收益;chair 的几何更规整但丢失小物件;robot 的 back 视图方向错误;flower 的四个视图差异不足。因此“GPT 正交化后一定更好”这个假设不成立,质量瓶颈转移到了正交视图生成的几何忠实度。

实验协议

Baseline:把原始非正交多图直接输入 TrellisImageTo3DPipeline.run_multi_image。GPT 路线:先把每个 case 的参考图拼成 contact sheet,再调用 GPT 图像编辑接口分别生成 front、left、right、back 四张正交图,最后输入同一个 TRELLIS multi-image 接口。

每一步都做了产物检查:GPT 图检查是否居中、非空、白底、没有明显裁切,并人工检查是否真接近正交;TRELLIS 检查 mesh normal 视频、预览帧、顶点/面数和 mesh 导出状态。下方视频展示的是 mesh normal 渲染,不是彩色贴图渲染。

全部实验总览
输入、GPT 正交视图、direct mesh、GPT mesh 总览
mesh 视频抽帧
mesh normal 视频多角度抽帧,用于判断旋转后的形状稳定性

chair

Direct: 直接输入能恢复椅子的整体结构和座面小物件,但椅背/扶手略带视角融合痕迹。

GPT: GPT 视图更接近标准 front/side/back,椅子几何更规整;缺点是座面上的小物件被弱化或丢失。

结论: 几何规整性 GPT 略好,细节一致性 direct 更好;不判定为整体提升。

chair 原始输入
原始非正交输入(3 张)
chair GPT 正交视图
GPT 生成的正交视图:front, left, right, back
直接输入 TRELLIS · OBJ / GLB
GPT 正交化后输入 TRELLIS · OBJ / GLB
指标直接非正交输入GPT 正交输入
顶点数435104366344
面数870136732720
OBJ meshokok
GLB 导出okok
TRELLIS 推理耗时2.6s3.7s

monkey

Direct: 直接输入已经能形成坐姿、头发轮廓和金色横杆,mesh 可旋转性较好。

GPT: GPT 正交视图的方向差异清晰,保留金色横杆和主体轮廓,输出更稳定、更对称。

结论: GPT 正交转换有效提升了视角一致性和 mesh 稳定性。

monkey 原始输入
原始非正交输入(4 张)
monkey GPT 正交视图
GPT 生成的正交视图:front, left, right, back
直接输入 TRELLIS · OBJ / GLB
GPT 正交化后输入 TRELLIS · OBJ / GLB
指标直接非正交输入GPT 正交输入
顶点数303618356890
面数607312713796
OBJ meshokok
GLB 导出okok
TRELLIS 推理耗时2.1s3.8s

robot

Direct: 直接输入只有两张非正交图,但 TRELLIS 仍能生成机器人主体、肩臂和腿部结构。

GPT: GPT front/side 基本可用,但 back 不是严格背面,更像正面变体,导致多视角约束不可靠。

结论: GPT 转换没有带来明显提升;错误背视图会限制结果。

robot 原始输入
原始非正交输入(2 张)
robot GPT 正交视图
GPT 生成的正交视图:front, left, right, back
直接输入 TRELLIS · OBJ / GLB
GPT 正交化后输入 TRELLIS · OBJ / GLB
指标直接非正交输入GPT 正交输入
顶点数233694202274
面数467362404494
OBJ meshokok
GLB 导出okok
TRELLIS 推理耗时2.1s3.5s

toolcar

Direct: 直接输入能恢复车体、轮子和顶部横杆,但存在一定非对称和融合痕迹。

GPT: GPT 视图更接近正交,前后和侧面约束更清楚,mesh 更圆整,主体部件保留较好。

结论: GPT 正交转换对该 case 有正向作用。

toolcar 原始输入
原始非正交输入(3 张)
toolcar GPT 正交视图
GPT 生成的正交视图:front, left, right, back
直接输入 TRELLIS · OBJ / GLB
GPT 正交化后输入 TRELLIS · OBJ / GLB
指标直接非正交输入GPT 正交输入
顶点数366840454232
面数733796908464
OBJ meshokok
GLB 导出okok
TRELLIS 推理耗时2.1s4.3s

flower

Direct: 8 张输入覆盖了更多外观变化,直接输入生成的花束更饱满,但枝叶噪声也较多。

GPT: GPT 输出干净、居中,但四个方向差异不明显,像相近角度的重绘,减少了真实多视角信息。

结论: GPT 转换没有提升,反而压缩了多视角差异。

flower 原始输入
原始非正交输入(8 张)
flower GPT 正交视图
GPT 生成的正交视图:front, left, right, back
直接输入 TRELLIS · OBJ / GLB
GPT 正交化后输入 TRELLIS · OBJ / GLB
指标直接非正交输入GPT 正交输入
顶点数405576288208
面数811608576888
OBJ meshokok
GLB 导出okok
TRELLIS 推理耗时2.3s3.5s

预期外问题与处理

补充探索

查看补充实验:多视角非正交改进探索 · 下载补充 PPT

查看自动正交视图门控原型

查看第三轮质量优化实验

查看最终推荐 Mesh 选择结果

查看多非正交视角 Mesh 训练/评测数据调研

查看 Benchmark100 中文交互浏览器(100 个对象,2/4/6/8 输入视角,20 测试视角,OBJ 可旋转)

查看 TRELLIS.2 + VGGT 多非正交视角研究中文总览

下载综合汇报 PPT(含 mesh 视频和最终 pipeline)