2027 MoGe-2 对比 MoGe-3:单图深度与尺度校准实测
用已知相机和参考深度实测 MoGe-2 与 MoGe-3,附原始点云误差、墙面校准后的留出误差、截图与实扣。

同一个有参考深度的室内场景,MoGe-3 的原始深度平均误差比 MoGe-2 小。用后墙一小块已知深度校准尺度后,两者的顺序变了,MoGe-2 在剩余像素上的平均绝对误差略小。做单图几何时,这两列数据回答不同的问题。直接使用原始深度,要看米制偏差。手里有尺度参照,还要看校准后哪些区域依然有误差。
先说结论
- 两条路线收到同一张 640 × 480 的 Blender 合成图和已知水平视场角 54.432°。参考深度由相机射线与场景网格求交得到。
- 两份输出共有 304,176 个可比较像素。原始深度 MAE 为 MoGe-2 的 1.907 米和 MoGe-3 的 1.605 米。本场景两者都低估了深度。
- 用同一块 18,200 像素的后墙拟合各自的乘数,在其余 285,976 个像素上,MAE 分别是 0.105 米和 0.115 米。
- 两次都返回 GLB、PLY 点云和深度预览、掩码、法线 PNG。误差由 PLY 数值位置计算,实扣分别为 $0.050 和 $0.075。
- 本次只用一个合成场景,每条路线调用一次,不能据此给真实照片的整体准确率排名。
先做一张相机参数已知的测试图
用 Blender 4.5.9 的 Cycles 渲染一个简单房间,里面有地面、两面墙、几个不同深度的方块和一个球。相机参数已知,提交时只给 RGB 图和水平视场角,没有把任何物体的真实距离或深度图传给模型。

左边是两次调用使用的 RGB 图。右边是参考深度,以米为单位,用 2–8 米的共享色标显示。
参考数据按 307,200 个像素中心逐一发射射线,找到第一处命中的表面,再把命中点转回相机坐标,取相机前方的轴向深度。在本实验的坐标中,前方对应负 Z,所以数值取负号。斜射线到表面的长度会比轴向深度大,越靠画面边缘越要区分这两个量。我们还给每个像素记录第一个命中的物体编号,便于拆开看地面、墙和道具上的误差。
这张合成图的相机位置、内参和场景尺寸都可核查。实际照片还可能有未知镜头、畸变、反光和遮挡。本次用可复现的场景比较点云与参考深度,能看到量级和误差分布,不能替代真实素材上的验收。
用 PLY 数值测深度,保留原始预览图
MoGe-2 选 vitl-normal, MoGe-3 用三步细化。两边都传 apply_mask: true、resolution_level: 9 和相同的 fov_x。两条路线参数不同,这次只能比较所选配置,不能把差异单独归给某一步细化。 Microsoft MoGe 实现与坐标说明
返回的两个 GLB 都是 Khronos 验证零错误、零警告。两组深度 PNG 都是 RGB 预览,数值检查用 PLY 里的坐标。导出点云的 X 向右、Y 向上、前方为负 Z。我们按已知相机参数重投影,检查每个点落在哪个像素,并核对点的 RGB 和该位置原图完全一致。两份点云相对像素中心的最大偏差都小于 0.001 像素,没有通过缩放图像强制对齐。

三幅图共用 2–8 米色标。灰色表示相应导出点云没有该位置。
两个掩码 PNG 都是全白,但 PLY 顶点分别为 304,334 和 304,565,少于原图像素。最终取参考和两份点云都有值的位置,共 304,176 个,占图像 99.02%。同一个分母可以避免只在其中一条路线里跳过难像素。缺失的点单独记入覆盖情况,误差按共同像素计算。
原始深度与校准后误差分别看

原始指标用 304,176 个共同像素,校准后指标排除了用来拟合的墙面小块。
| 指标 | MoGe-2 | MoGe-3 |
|---|---|---|
| PLY 顶点 | 304,334 | 304,565 |
| 原始 MAE | 1.907 米 | 1.605 米 |
| 原始 RMSE | 1.963 米 | 1.648 米 |
| 原始平均绝对相对误差 | 32.06% | 27.08% |
| 预测/参考深度中位数 | 0.6899 | 0.7398 |
| 墙面校准乘数 | 1.4485× | 1.3482× |
| 校准后留出区域 MAE | 0.105 米 | 0.115 米 |
| 校准后留出区域绝对误差中位数 | 0.064 米 | 0.063 米 |
| 实扣 | $0.050 | $0.075 |
MoGe-3 的原始 MAE 少约 0.302 米。后墙参考深度中位数是 7.464 米,MoGe-2 在同一批像素上给出 5.175 米,MoGe-3 给出 5.563 米。画面上两条路线都还能看出前景和后墙的顺序,但都把这面墙估得更近。MAE 是每个像素绝对误差的平均,RMSE 对较大的误差更敏感。相对误差再除以该位置的参考深度,可以对照近处和远处。
拿一块墙做尺度标定,其余像素再验

红框里的 18,200 个像素只用来拟合尺度。右边两张误差图使用同一个色标,灰色不计入评估。
在这块后墙上,逐像素求参考深度除以预测深度,再取中位数作为该路线的单一乘数。把它应用到其他 285,976 个共同像素,校准区域就不会同时参与评分。留出像素仍然来自同一张图,所以这个结果说明标定尺度能否迁移到当前画面的其他部分。要判断换房间和镜头后效果如何,需要另跑。
校准后 MoGe-2 的 MAE 低约一厘米,MoGe-3 的绝对误差中位数略低。选择指标时要明确更关心典型像素,还是平均误差受到的较大偏差。两版的误差图在地面和物体周围都还有颜色,说明单个乘数只能修正整体尺度。物体边缘、遮挡后的形状和局部深度,还需要按实际用途核对。
把同样的检查用到自己的图
| 工作目标 | 先存哪些数据 |
|---|---|
| 比较两条路线的原始深度 | 已知相机、共同覆盖率、原始 MAE 和偏差方向。 |
| 有一段已知距离可校准 | 标定区域、乘数和其余位置的误差。 |
| 把结果放进 3D 查看器 | 原 GLB、朝向、坐标、边缘缺失和体积。 |
| 为单个物体重建背面 | 增加背面参考和多视图检查。 |
复跑时,使用可访问的 RGB 地址和已知水平视场角,保存每条路线返回的原始 PLY。在写误差代码前,先验证坐标符号和重投影,避免把图片预览当成米制数组。如果业务中确实有已知尺度,可提前写清楚用哪个面校准,并给相邻物体和其他深度留独立评估区。要做能旋转的物体资产,还要检查不可见面。 整图和单物体选取实测
保留两条路线的请求和评分分母
下面是 MoGe-2 的请求形式。把图片换成你自己的可访问地址,水平视场角换成这张图实际的标定值。服务端用 Bearer 密钥向 POST https://api.sandbase.ai/v1/run 提交,保存任务 ID,再用 GET /v1/run/{id} 查询结果。MoGe-3 把模型换成 microsoft/moge-3,并用 "num_refinement_steps": 3 替换 checkpoint 字段。
{
"model": "microsoft/moge-2",
"image": "https://example.com/your-calibrated-image.png",
"fov_x": 54.432223114614956,
"apply_mask": true,
"resolution_level": 9,
"checkpoint": "vitl-normal"
}比较前把有效点口径写下来。例如,两份都能重投影的位置用于比较误差,缺失点仍计入覆盖率。边缘深度对业务重要时,可以额外截出遮挡边界,单独统计缺点和偏差。计算完保留参考深度、像素索引和使用的乘数,复查时就能区分是预测变了,还是有效区域或标定方式变了。
MoGe-3 视场角与尺度实测另测了自动估角、指定角度与已知宽度拟合。
常见问题
可以直接从 RGB 深度 PNG 读出米吗?
本次返回的是 RGB 预览。用 PLY 坐标和相机重投影计算深度,原图用于检查像素是否对应。
给了视场角就有准确尺度吗?
视场角确定这次使用的投影角度。本次给了已知角度,两份原始输出仍然低估了距离。
MoGe-3 一定比 MoGe-2 准吗?
本场景里 MoGe-3 原始 MAE 较低。用一块后墙校准后,MoGe-2 的留出 MAE 较低,MoGe-3 的留出误差中位数略低。
觉得有用?分享给更多人