Apple Vision Pro新系统：沉浸式视频与APMP元数据解析

经过数月的测试与优化，Apple于9月面向Apple Vision Pro发布了visionOS 26系统更新。

除了常见的小组件更新及新版自影像功能外，此次更新还特别增强了对于Insta360、GoPro及佳能设备所拍摄180度、360度及宽视场内容原生播放的支持。我恰好拥有一台Insta360 X5，便深入探索了其在visionOS 26上播放第三方沉浸式视频的相关细节，并在此与大家分享。

videoOS中的视频类型

在深入体验之前，我们先简要了解videoOS目前支持播放的几种视频类型。

2D和3D视频

顾名思义，2D视频与我们使用iPhone、Mac等平面设备观看的视频无异，内容通过窗口播放，可嵌入网页或独立app中。

在平面设备上观看2D内容时，可点击最大化按钮让视频全屏播放；而在Apple Vision Pro中，虽然无法全屏播放2D视频，但设有相应的最大化按钮，Apple称之为扩展式播放。

扩展式播放的2D视频将以独立窗口形式在Apple Vision Pro环境中全屏展示；若开发者使用Apple提供的Reality Composer Pro或AVKit工具，扩展式播放窗口可切换至悬停状态，并停靠在videoOS空间中的指定位置。此时窗口位置、大小不可调整，环境会根据窗口内容实时模拟呈现窗口屏幕在环境中的动态光线反射效果，带来类似虚拟影院的感觉。

悬停播放

3D视频的播放与2D视频类似，但提供了类似影院观看的窗口3D视频效果。为实现这一效果，Apple为开发者提供了多视图编码(MV-HEVC)格式。与传统VR内容的左右或上下帧合并形式不同，MV-HEVC在视频工程文件的同一轨道里存储了多个独立视图层，使左右眼帧的画面具有相同分辨率并共享时间轴，从而保证了最终视频文件向下兼容普通HEVC格式播放。

对于开发者而言，视频片源需分别提供时长和帧率完全一致的左右眼文件，并使用高位深格式和HDR色彩空间重新编码为MV-HEVC。MV-HEVC轨道通过vexu扩展标明该轨道的左右眼视图和默认视图，以便播放器确定如何将每个视图映射到用户的左眼或右眼。

在Apple Vision Pro中，我们主要通过视频app(外区)或Disney+ app观看众多3D版本的热门影视内容，享受影院级的3D观影体验。

空间视频

空间视频是Apple在videoOS中提出的新概念，视频内容可按真实尺寸呈现于视野中，同时窗口边缘以淡出形式与周围环境形成自然过渡。这种处理方式避免了画面与环境间产生强烈的深度错觉，同时提供了身临其境的观看体验。同样地，空间视频也做到了向下兼容，可在Apple Vision Pro或iPhone等设备中以传统2D画面形式播放。

从技术角度看，空间视频同样采用MV‑HEVC编码格式，将左眼与右眼视图分别存储在多视图图层轨道中，并通过QuickTime容器的vexu扩展加入描述左右视图、默认视图、视差等关键信息。此外，空间视频还包含额外的元数据，如实际拍摄距离等，这些数据会影响窗口深度和视角的呈现。

180°、360°和宽视场视频

在videoOS 26中，Apple将传统的180°、360°和宽视场视频统称为沉浸式视频。与前述的2D、3D和空间视频采用直线投影(Rectilinear projection)不同，在Apple Vision Pro这样的空间计算设备中，渲染空间不仅局限于我们观看前方的平面区域。开发者也需在虚拟环境中的观看者周围铺满像素，并需考虑镜头曲率或弯曲变换，因此需采用非直线投影(Nonrectilinear projection)方式渲染视频内容。

直线投影

180°视频通过半等距柱状投影将正方形画面映射到半球区域中，内容会填满观看者前方的半球区域视野。而360°视频则采用等距柱状投影，画面为宽高比为2:1的矩形画面。这样可使画面在投射时水平轴覆盖−180°至+180°的区域，垂直轴覆盖−90°至+90°的区域，将观看者完全包围在沉浸空间中。这也是VR行业通用的投影方式。