核心结论
TRELLIS 的 multi-image pipeline 对非正交输入并不是立即崩溃:chair、monkey、robot、toolcar 都能形成可旋转 mesh,flower 也能恢复主要花盆和花束体量。
GPT 正交化只有在视图真的互相一致、方向明确时才有帮助。本次实验中 monkey 和 toolcar 有明显正向收益;chair 的几何更规整但丢失小物件;robot 的 back 视图方向错误;flower 的四个视图差异不足。因此“GPT 正交化后一定更好”这个假设不成立,质量瓶颈转移到了正交视图生成的几何忠实度。
实验协议
Baseline:把原始非正交多图直接输入 TrellisImageTo3DPipeline.run_multi_image。GPT 路线:先把每个 case 的参考图拼成 contact sheet,再调用 GPT 图像编辑接口分别生成 front、left、right、back 四张正交图,最后输入同一个 TRELLIS multi-image 接口。
每一步都做了产物检查:GPT 图检查是否居中、非空、白底、没有明显裁切,并人工检查是否真接近正交;TRELLIS 检查 mesh normal 视频、预览帧、顶点/面数和 mesh 导出状态。下方视频展示的是 mesh normal 渲染,不是彩色贴图渲染。


chair
Direct: 直接输入能恢复椅子的整体结构和座面小物件,但椅背/扶手略带视角融合痕迹。
GPT: GPT 视图更接近标准 front/side/back,椅子几何更规整;缺点是座面上的小物件被弱化或丢失。
结论: 几何规整性 GPT 略好,细节一致性 direct 更好;不判定为整体提升。


| 指标 | 直接非正交输入 | GPT 正交输入 |
|---|---|---|
| 顶点数 | 435104 | 366344 |
| 面数 | 870136 | 732720 |
| OBJ mesh | ok | ok |
| GLB 导出 | ok | ok |
| TRELLIS 推理耗时 | 2.6s | 3.7s |
monkey
Direct: 直接输入已经能形成坐姿、头发轮廓和金色横杆,mesh 可旋转性较好。
GPT: GPT 正交视图的方向差异清晰,保留金色横杆和主体轮廓,输出更稳定、更对称。
结论: GPT 正交转换有效提升了视角一致性和 mesh 稳定性。


| 指标 | 直接非正交输入 | GPT 正交输入 |
|---|---|---|
| 顶点数 | 303618 | 356890 |
| 面数 | 607312 | 713796 |
| OBJ mesh | ok | ok |
| GLB 导出 | ok | ok |
| TRELLIS 推理耗时 | 2.1s | 3.8s |
robot
Direct: 直接输入只有两张非正交图,但 TRELLIS 仍能生成机器人主体、肩臂和腿部结构。
GPT: GPT front/side 基本可用,但 back 不是严格背面,更像正面变体,导致多视角约束不可靠。
结论: GPT 转换没有带来明显提升;错误背视图会限制结果。


| 指标 | 直接非正交输入 | GPT 正交输入 |
|---|---|---|
| 顶点数 | 233694 | 202274 |
| 面数 | 467362 | 404494 |
| OBJ mesh | ok | ok |
| GLB 导出 | ok | ok |
| TRELLIS 推理耗时 | 2.1s | 3.5s |
toolcar
Direct: 直接输入能恢复车体、轮子和顶部横杆,但存在一定非对称和融合痕迹。
GPT: GPT 视图更接近正交,前后和侧面约束更清楚,mesh 更圆整,主体部件保留较好。
结论: GPT 正交转换对该 case 有正向作用。


| 指标 | 直接非正交输入 | GPT 正交输入 |
|---|---|---|
| 顶点数 | 366840 | 454232 |
| 面数 | 733796 | 908464 |
| OBJ mesh | ok | ok |
| GLB 导出 | ok | ok |
| TRELLIS 推理耗时 | 2.1s | 4.3s |
flower
Direct: 8 张输入覆盖了更多外观变化,直接输入生成的花束更饱满,但枝叶噪声也较多。
GPT: GPT 输出干净、居中,但四个方向差异不明显,像相近角度的重绘,减少了真实多视角信息。
结论: GPT 转换没有提升,反而压缩了多视角差异。


| 指标 | 直接非正交输入 | GPT 正交输入 |
|---|---|---|
| 顶点数 | 405576 | 288208 |
| 面数 | 811608 | 576888 |
| OBJ mesh | ok | ok |
| GLB 导出 | ok | ok |
| TRELLIS 推理耗时 | 2.3s | 3.5s |
预期外问题与处理
- 官方
setup.sh --new-env在非交互 shell 中没有正确激活 conda 环境,一开始会把包装到 base。处理方式:改用显式conda run -n trellis安装和验证。 - Conda PyTorch 2.4.0 出现
libtorch_cpu.so: undefined symbol: iJIT_NotifyEvent。处理方式:替换为官方 pip CUDA 12.1 PyTorch wheel。 nvdiffrast在 build isolation 下找不到 PyTorch。处理方式:用--no-build-isolation重新安装。diff_gaussian_rasterization初始缺失,导致 GLB 纹理导出失败。处理方式:按 TRELLIS 官方--mipgaussian路径从autonomousvision/mip-splatting子模块补装;同时额外导出 raw OBJ mesh,保证几何结果可下载。/tmp/extensions已存在且当前用户不可写,官方脚本默认路径无法 clone。处理方式:改用/home/jiachen/tmp/extensions。- GPT 图像接口偶发 timeout/HTTP 500,尤其 spongebob case 重复失败。处理方式:脚本保存每个成功视图的 PNG/JSON 并跳过已有结果,失败时可断点续跑;最终将 spongebob 替换为 flower 完成 5 个 case。
- GPT 正交化本身不是稳定几何工具:robot 的 back 视图方向错误,flower 的四个方向差异不足,chair 丢失座面小物件。这些在报告结论中单独标记,没有用自动指标掩盖。
补充探索
查看 Benchmark100 中文交互浏览器(100 个对象,2/4/6/8 输入视角,20 测试视角,OBJ 可旋转)