2027 MoGe-2 对比 MoGe-3:单图深度与尺度校准实测

用已知相机和参考深度实测 MoGe-2 与 MoGe-3,附原始点云误差、墙面校准后的留出误差、截图与实扣。

2027 MoGe-2 对比 MoGe-3:单图深度与尺度校准实测

同一个有参考深度的室内场景,MoGe-3 的原始深度平均误差比 MoGe-2 小。用后墙一小块已知深度校准尺度后,两者的顺序变了,MoGe-2 在剩余像素上的平均绝对误差略小。做单图几何时,这两列数据回答不同的问题。直接使用原始深度,要看米制偏差。手里有尺度参照,还要看校准后哪些区域依然有误差。

先说结论

  • 两条路线收到同一张 640 × 480 的 Blender 合成图和已知水平视场角 54.432°。参考深度由相机射线与场景网格求交得到。
  • 两份输出共有 304,176 个可比较像素。原始深度 MAE 为 MoGe-2 的 1.907 米和 MoGe-3 的 1.605 米。本场景两者都低估了深度。
  • 用同一块 18,200 像素的后墙拟合各自的乘数,在其余 285,976 个像素上,MAE 分别是 0.105 米和 0.115 米。
  • 两次都返回 GLB、PLY 点云和深度预览、掩码、法线 PNG。误差由 PLY 数值位置计算,实扣分别为 $0.050 和 $0.075。
  • 本次只用一个合成场景,每条路线调用一次,不能据此给真实照片的整体准确率排名。

先做一张相机参数已知的测试图

用 Blender 4.5.9 的 Cycles 渲染一个简单房间,里面有地面、两面墙、几个不同深度的方块和一个球。相机参数已知,提交时只给 RGB 图和水平视场角,没有把任何物体的真实距离或深度图传给模型。

Blender 合成输入图与同一相机下的参考轴向深度

左边是两次调用使用的 RGB 图。右边是参考深度,以米为单位,用 2–8 米的共享色标显示。

参考数据按 307,200 个像素中心逐一发射射线,找到第一处命中的表面,再把命中点转回相机坐标,取相机前方的轴向深度。在本实验的坐标中,前方对应负 Z,所以数值取负号。斜射线到表面的长度会比轴向深度大,越靠画面边缘越要区分这两个量。我们还给每个像素记录第一个命中的物体编号,便于拆开看地面、墙和道具上的误差。

这张合成图的相机位置、内参和场景尺寸都可核查。实际照片还可能有未知镜头、畸变、反光和遮挡。本次用可复现的场景比较点云与参考深度,能看到量级和误差分布,不能替代真实素材上的验收。

用 PLY 数值测深度,保留原始预览图

MoGe-2 选 vitl-normal, MoGe-3 用三步细化。两边都传 apply_mask: true、resolution_level: 9 和相同的 fov_x。两条路线参数不同,这次只能比较所选配置,不能把差异单独归给某一步细化。 Microsoft MoGe 实现与坐标说明

返回的两个 GLB 都是 Khronos 验证零错误、零警告。两组深度 PNG 都是 RGB 预览,数值检查用 PLY 里的坐标。导出点云的 X 向右、Y 向上、前方为负 Z。我们按已知相机参数重投影,检查每个点落在哪个像素,并核对点的 RGB 和该位置原图完全一致。两份点云相对像素中心的最大偏差都小于 0.001 像素,没有通过缩放图像强制对齐。

参考深度与 MoGe-2、MoGe-3 原始点云重投影深度对比

三幅图共用 2–8 米色标。灰色表示相应导出点云没有该位置。

两个掩码 PNG 都是全白,但 PLY 顶点分别为 304,334 和 304,565,少于原图像素。最终取参考和两份点云都有值的位置,共 304,176 个,占图像 99.02%。同一个分母可以避免只在其中一条路线里跳过难像素。缺失的点单独记入覆盖情况,误差按共同像素计算。

原始深度与校准后误差分别看

两版 MoGe 原始误差、校准乘数、留出误差和真实账单

原始指标用 304,176 个共同像素,校准后指标排除了用来拟合的墙面小块。

指标MoGe-2MoGe-3
PLY 顶点304,334304,565
原始 MAE1.907 米1.605 米
原始 RMSE1.963 米1.648 米
原始平均绝对相对误差32.06%27.08%
预测/参考深度中位数0.68990.7398
墙面校准乘数1.4485×1.3482×
校准后留出区域 MAE0.105 米0.115 米
校准后留出区域绝对误差中位数0.064 米0.063 米
实扣$0.050$0.075

MoGe-3 的原始 MAE 少约 0.302 米。后墙参考深度中位数是 7.464 米,MoGe-2 在同一批像素上给出 5.175 米,MoGe-3 给出 5.563 米。画面上两条路线都还能看出前景和后墙的顺序,但都把这面墙估得更近。MAE 是每个像素绝对误差的平均,RMSE 对较大的误差更敏感。相对误差再除以该位置的参考深度,可以对照近处和远处。

拿一块墙做尺度标定,其余像素再验

后墙的校准区域与两版 MoGe 在留出像素上的绝对误差图

红框里的 18,200 个像素只用来拟合尺度。右边两张误差图使用同一个色标,灰色不计入评估。

在这块后墙上,逐像素求参考深度除以预测深度,再取中位数作为该路线的单一乘数。把它应用到其他 285,976 个共同像素,校准区域就不会同时参与评分。留出像素仍然来自同一张图,所以这个结果说明标定尺度能否迁移到当前画面的其他部分。要判断换房间和镜头后效果如何,需要另跑。

校准后 MoGe-2 的 MAE 低约一厘米,MoGe-3 的绝对误差中位数略低。选择指标时要明确更关心典型像素,还是平均误差受到的较大偏差。两版的误差图在地面和物体周围都还有颜色,说明单个乘数只能修正整体尺度。物体边缘、遮挡后的形状和局部深度,还需要按实际用途核对。

把同样的检查用到自己的图

工作目标先存哪些数据
比较两条路线的原始深度已知相机、共同覆盖率、原始 MAE 和偏差方向。
有一段已知距离可校准标定区域、乘数和其余位置的误差。
把结果放进 3D 查看器原 GLB、朝向、坐标、边缘缺失和体积。
为单个物体重建背面增加背面参考和多视图检查。

复跑时,使用可访问的 RGB 地址和已知水平视场角,保存每条路线返回的原始 PLY。在写误差代码前,先验证坐标符号和重投影,避免把图片预览当成米制数组。如果业务中确实有已知尺度,可提前写清楚用哪个面校准,并给相邻物体和其他深度留独立评估区。要做能旋转的物体资产,还要检查不可见面。 整图和单物体选取实测

保留两条路线的请求和评分分母

下面是 MoGe-2 的请求形式。把图片换成你自己的可访问地址,水平视场角换成这张图实际的标定值。服务端用 Bearer 密钥向 POST https://api.sandbase.ai/v1/run 提交,保存任务 ID,再用 GET /v1/run/{id} 查询结果。MoGe-3 把模型换成 microsoft/moge-3,并用 "num_refinement_steps": 3 替换 checkpoint 字段。

JSON
{
  "model": "microsoft/moge-2",
  "image": "https://example.com/your-calibrated-image.png",
  "fov_x": 54.432223114614956,
  "apply_mask": true,
  "resolution_level": 9,
  "checkpoint": "vitl-normal"
}

比较前把有效点口径写下来。例如,两份都能重投影的位置用于比较误差,缺失点仍计入覆盖率。边缘深度对业务重要时,可以额外截出遮挡边界,单独统计缺点和偏差。计算完保留参考深度、像素索引和使用的乘数,复查时就能区分是预测变了,还是有效区域或标定方式变了。

MoGe-3 视场角与尺度实测另测了自动估角、指定角度与已知宽度拟合。

常见问题

可以直接从 RGB 深度 PNG 读出米吗?

本次返回的是 RGB 预览。用 PLY 坐标和相机重投影计算深度,原图用于检查像素是否对应。

给了视场角就有准确尺度吗?

视场角确定这次使用的投影角度。本次给了已知角度,两份原始输出仍然低估了距离。

MoGe-3 一定比 MoGe-2 准吗?

本场景里 MoGe-3 原始 MAE 较低。用一块后墙校准后,MoGe-2 的留出 MAE 较低,MoGe-3 的留出误差中位数略低。

觉得有用?分享给更多人