空间计算与 XR 技术全景

引言

空间计算（Spatial Computing）这个词在 2023 年之后被重新定义：它指的不再是「在屏幕上画三维」，而是让计算设备理解自己在真实世界里的位姿、让数字内容锚定在物理空间中、并让人的头部、眼睛、双手成为第一等输入。XR 是这一范式的统称，向下包含 VR、AR、MR 三个形态。

工程上真正难的地方不在渲染。渲染问题在 图形学专题 里已经讲得很透，而 XR 的独特性来自另外三件事：位姿必须在毫秒级对齐（否则晕动症）、显示链路是光学与光子的耦合（不是帧缓冲的事）、交互没有键盘鼠标（输入要重新设计）。

还有一个容易被低估的约束：主流一体机是移动芯片加电池供电，功耗与散热的预算比 PC 严格一个数量级。Quest 3 的整机热设计功耗大约 10 到 15 W，其中渲染与追踪占大头；一旦持续超预算，芯片降频，帧率从 90 掉到 72，晕动症立刻出现。这意味着 XR 工程师必须同时懂渲染、懂传感器融合、懂人体工效学，还要会做功耗预算。

本文按「概念边界 → 技术支柱 → 显示与追踪 → 输入 → 运行时与渲染 → 设备形态 → 选型 → 落地」的顺序展开，把 XR 里那些「和普通图形应用不一样」的部分讲清楚，通用引擎知识只做索引。

目录

1. 什么是空间计算
2. XR 谱系与边界
3. 六大技术支柱
4. 显示与光学基础
5. 光学方案对比
6. 追踪与定位
7. 延迟预算与 Motion-to-Photon
8. 输入范式
9. 运行时与 SDK 生态
10. 渲染管线差异
11. 设备形态与芯片
12. 技术栈选型表
13. 内容管线与资产
14. 工程复杂度来源
15. 行业落地概览
16. 权衡取舍
17. 常见坑清单
18. 小结

1. 什么是空间计算

空间计算的核心命题是「把计算结果的呈现位置，从屏幕坐标系搬到世界坐标系」。传统 GUI 里，一个按钮的位置是相对窗口的像素坐标；空间计算里，一个按钮的位置是相对房间某面墙的米制坐标，并且这个坐标要在用户走动、光线变化、甚至换一台设备之后依然成立。

由此派生三个必要条件：

• 世界理解：设备要知道地面在哪、墙在哪、桌面在哪，这依赖 SLAM 与平面检测。
• 位姿连续性：从设备开机到关机，追踪系统要持续输出 6DoF 位姿，中断或跳变都会破坏沉浸感。
• 空间持久化：数字内容的位置要能跨会话恢复，否则用户每次都要重新摆放，产品体验崩塌。

这三件事在普通 3D 应用里都不存在，是 XR 工程的真正门槛。它们分别对应本文后面的追踪、锚点、持久化三块内容，也对应 空间锚点与跨会话持久化 这一独立主题。

1.1 与「三维可视化」的区别

很多人把 XR 等同于「能转动的 3D 模型」。区别在于闭环：三维可视化是单向的（人看内容），XR 是双向的（内容知道人在哪、人用手影响内容、内容影响真实空间认知）。一旦引入这个闭环，工程复杂度立刻上一个台阶，因为所有延迟都会被人体感知放大。

2. XR 谱系与边界

XR（Extended Reality）是总称，业内通常按「虚拟内容与真实世界的混合程度」划分：

关键工程差异在透视路径：VST 用摄像头拍下真实世界，渲染合成后再送显示，延迟链路更长但可以做深度遮挡与色彩校正；OST 直接透过镜片看世界，延迟低但数字内容无法被真实物体遮挡，且亮度受环境光限制。选型时这一步决定了后面所有渲染与延迟预算。

一个常被忽略的量化差异：VST 的透视延迟通常在 30 到 50 ms，用户快速转头时会感到「世界在拖尾」；OST 延迟接近 0，但代价是无法做遮挡。这个取舍直接决定了你能否做「虚拟物体藏在真实桌子后面」这类效果。

3. 六大技术支柱

把 XR 应用拆开，稳定地落在六个模块上：

1. 显示与光学：微显示面板（LCD、OLEDoS、MicroLED）加光学元件（Birdbath、Pancake、光波导），决定 FOV、PPD、亮度与整机厚度。
2. 追踪与定位：IMU 加摄像头做 VIO/SLAM，输出头显 6DoF；手柄做光学或 IMU 追踪；眼动与手部追踪是增量能力。
3. 空间理解：平面检测、深度估计、网格重建、语义分割，构成 AR 的「世界模型」。
4. 输入与交互：手柄、手势、眼动加捏合、语音，配合射线、抓取、注视选择等交互范式。
5. 渲染与合成：立体渲染、畸变校正、时间扭曲、注视点渲染、透视合成。
6. 运行时与内容管线：OpenXR 运行时、引擎 XR 插件、资产从 DCC 到设备的转换。

六者之间有强耦合：光学决定渲染分辨率，追踪延迟决定时间扭曲策略，芯片功耗决定注视点渲染的必要性。任何单点优化都可能被另一环吃掉，这就是 XR 工程的系统性。

每根支柱失效时的典型症状，可以作为排障索引：

4. 显示与光学基础

XR 显示的第一性指标不是分辨率，而是 PPD（Pixels Per Degree，每度像素数）。人眼中心凹的分辨能力约 60 PPD，因此低于 20 PPD 会明显看到纱窗效应，达到 40 PPD 以上才接近「看不出像素」。计算方式：

PPD = 单眼水平像素数 / 单眼水平 FOV（度）
例：Quest 3 单眼 2064 px，水平 FOV 约 110 度
    PPD = 2064 / 110 ≈ 18.8
例：Vision Pro 单眼约 3660 px，水平 FOV 约 100 度
    PPD = 3660 / 100 ≈ 36.6

FOV 与 PPD 是一对矛盾：面板像素有限，扩大 FOV 必然摊薄 PPD。因此高端设备转向 Pancake 折叠光路提升光学效率，或用 注视点渲染只在高 PPD 区域给足分辨率。

亮度单位要区分：VR 全封闭只需 100 到 200 nit；OST 的波导方案因为光学效率常低于 1%，需要 1000 nit 以上的入眼亮度才能在户外可用。这些光学细节会直接改变你的渲染目标与功耗预算，详见 XR 显示光学与头部眼动追踪 。

刷新率同样关键。当前主流是 90 Hz，高端做到 120 Hz，Quest 3 支持 72 / 90 / 120 Hz 三档。刷新率越高，单帧预算越短：

72 Hz  → 13.9 ms / 帧
90 Hz  → 11.1 ms / 帧
120 Hz →  8.3 ms / 帧

在一体机上，把刷新率从 90 提到 120 会让 GPU 预算直接砍掉 25%，因此「提刷新率」和「保画质」在移动端是一道硬取舍。

5. 光学方案对比

三种主流光路方案决定了头显的形态：

工程含义很直接：Pancake 的低光效意味着屏幕亮度必须拉高，从而推高功耗；波导的低效率意味着 OST 设备在强光下几乎不可用，因此 HoloLens 类设备多用于室内工业场景。选硬件时先看光路，再看参数。

6. 追踪与定位

追踪是 XR 的地基。当前主流方案是 VIO（Visual-Inertial Odometry）：IMU 以 1000 Hz 输出角速度与加速度，摄像头以 30 到 90 Hz 输出特征观测，两者用扩展卡尔曼滤波或滑动窗口优化融合，输出 6DoF 位姿。

IMU 1000 Hz ─┐
             ├─► 融合滤波（EKF / 优化） ─► 位姿 @ 1000 Hz
相机 30~90 Hz ┘

工程要点：

• 时间戳对齐：相机曝光时刻与 IMU 采样必须硬件同步，否则快速转动时位姿滞后。
• 标定：相机内参、IMU 与相机外参、IMU 零偏，标定误差直接变成漂移。
• 重定位：追踪丢失后要能从地图中重新定位，这是跨会话持久化的前提。
• 延迟预算：从物理运动到光子出射，Motion-to-Photon 应控制在 20 ms 以内，理想 12 ms。

手机 AR 与头显的追踪同源，但手机 AR 由 ARCore/ARKit 封装好了平面检测与锚点，头显则需要更完整的 SLAM 与地图能力，两者在 ARCore 与 ARKit 平面检测与锚点 里会详细对比。

6.1 位姿预测

由于渲染必然滞后，运行时必须预测「光子出射那一刻」的头部姿态：

t_render_start ──► t_frame_submit ──► t_photon
      │                  │                │
   已知位姿          预测补偿          实际姿态
预测模型：p(t) = p0 + v·Δt + 0.5·a·Δt²
其中 Δt 是预测提前量，通常取 1~2 帧

预测过头会「过冲」，预测不足会「拖尾」，两者都会引起不适。厂商运行时通常已内建，但自研引擎必须自己实现。

6.2 追踪失效的典型场景

这些场景在实验室很难复现，必须在真实场地做「环境压力测试」，否则上线后集中在客户现场爆发。

7. 延迟预算与 Motion-to-Photon

把延迟拆开看，才知道优化空间在哪：

合计 14 到 32 ms。面板扫描输出这一项常被忽略：LCD 从上到下逐行点亮，最后一行比第一行晚 2 到 5 ms 出光，因此时间扭曲要针对「扫描中」的姿态做二次校正，即所谓 Scanline Timewarp。

结论：延迟优化的主战场在追踪融合与 GPU 渲染，而应用逻辑必须严格控制在单帧预算内，任何主线程阻塞都会直接推高 Motion-to-Photon。

8. 输入范式

XR 输入没有键盘鼠标，交互被重新发明。常见输入通道及其特性：

交互设计的核心原则是 Midas Touch 问题：在 XR 里「看着」不等于「选择」，必须用捏合、注视停留时长或按键来消歧。眼动加捏合（gaze + pinch）是目前公认最省力、精度最高的组合，Apple Vision Pro 即以此为默认。手势与眼动的完整设计方法见 手势识别与眼动追踪交互设计 。

8.1 四种主流交互范式

• 射线指针（Ray Cast）：从手柄或手部发出射线，适合远距离选择，缺点是长距离瞄准抖动大。
• 直接抓取（Direct Grab）：手或手柄靠近物体后抓取，符合直觉，但要求物体在手可达范围内。
• 注视选择（Gaze Select）：眼动定位加确认手势，速度最快、最省力，适合长列表与菜单。
• 代理交互（Proxy / World-in-Miniature）：用一个小型代理物体操作远处场景，适合大空间导航。

选择依据是目标距离与精度要求：近处用直接抓取，中距离用射线，远处用代理，菜单类一律用注视。

9. 运行时与 SDK 生态

XR 生态的碎片化是工程第一大痛点。2017 年前每个厂商一套 SDK，2019 年 OpenXR 由 Khronos 发布，目标是「一次编写，多端运行」，现在已成为事实标准。

应用 / 引擎插件
      │
   OpenXR API          ← 应用只调用这一层
      │
厂商运行时（Quest / SteamVR / WMR / visionOS）
      │
   驱动 + 硬件

主要栈对比：

• OpenXR：跨厂商标准 API，Unity、Unreal、Godot 均支持，新项目首选。
• ARCore / ARKit：手机 AR 的世界理解 API，也通过 OpenXR 或厂商扩展接入头显。
• WebXR：浏览器内的 XR，免安装、易分发，适合营销与轻量应用，见 WebXR 与 WebGL/Three.js 网页三维 。
• 厂商 SDK：Meta XR SDK、visionOS SDK，提供标准之外的独有能力（如全彩透视合成、空间 Persona）。

选型原则：能用 OpenXR 就用 OpenXR，只在需要厂商独有能力时才引入厂商 SDK，并用条件编译隔离。

9.1 OpenXR 的会话模型

xrCreateInstance        → 探测运行时与扩展
xrGetSystem             → 选择头显设备
xrCreateSession         → 建立会话，绑定图形 API
xrCreateSwapchain       → 为每只眼睛建交换链
循环：
  xrWaitFrame           → 阻塞到下一帧（含预测显示时间）
  xrBeginFrame
  xrLocateViews         → 拿到左右眼预测位姿与投影矩阵
  渲染 + xrReleaseSwapchainImage
  xrEndFrame            → 提交图层（投影层 / 四边形层）

这段模型是理解所有 XR 运行时行为的基础：xrWaitFrame 与 xrLocateViews 的配合，正是 Motion-to-Photon 控制的核心。

10. 渲染管线差异

XR 渲染和普通实时渲染的差异集中在四处：

1. 立体渲染：左右眼各渲染一次，或使用单 Pass 实例化（Single Pass Instanced）把两次绘制合并，CPU 开销从两倍降到约 1.1 倍。
2. 畸变校正：镜片是凸透镜，画面必须预畸变，通常由运行时在合成阶段用采样网格完成，应用不必自己做。
3. 时间扭曲（Timewarp / ASW）：用最新的头部姿态重投影上一帧，掩盖渲染延迟，是防晕动的关键。
4. 注视点渲染：利用眼动数据，只在高注视区域全分辨率渲染，外围降采样，一体机上可省 30% 到 50% GPU。

单 Pass 立体的顶点着色器思路：
  uint eye = gl_InstanceIndex & 1;          // 0=左眼 1=右眼
  mat4 vp  = (eye == 0) ? vpLeft : vpRight;
  vec4 pos = vp * model * vec4(inPos, 1.0);
  // 纹理数组用 eye 索引，避免两次绘制

这些技术对引擎提出了「必须支持立体相机与后处理链」的要求，Unreal 的 VR 管线在 Unreal VR 渲染管线与立体渲染 里单独展开，通用渲染知识可参考 延迟渲染与 Tiled/Clustered 光照剔除 。

11. 设备形态与芯片

主流形态与代表芯片：

一体机的算力天花板决定了几乎所有优化策略：分辨率动态调整、注视点渲染、LOD 激进剔除、纹理压缩（ASTC）、单 Pass 立体。这些在 一体机 XR 性能优化实战 里有完整的量化方法。

值得注意 Vision Pro 的双芯片设计：M2 负责应用与渲染，R1 专管 12 路摄像头、5 路传感器的融合，把传感器延迟压到 12 ms 以内。这提示一个趋势：追踪与渲染在硬件上分离，避免渲染负载影响追踪实时性。

12. 技术栈选型表

按项目类型给出推荐组合：

选型的三条经验：先定硬件（因为算力与 SDK 强绑定），再定透视方式（决定渲染与延迟预算），最后定引擎（生态与团队技能决定）。

13. 内容管线与资产

XR 对资产的要求比普通 3D 更苛刻，因为要同时满足移动 GPU、立体渲染与舒适度：

• 多边形预算：一体机上单帧三角形数量通常控制在 100 万以内，主角模型 3 到 8 万面。
• 纹理预算：单帧纹理内存常被限制在几百 MB，必须用 ASTC 压缩并控制 Mipmap。
• 材质：避免复杂自定义着色器，优先用 URP/Mobile 管线的标准着色器。
• LOD：必须配置 LOD Group，一体机靠它救命。
• 光照：优先烘焙光照贴图，实时阴影数量严格限制。

从 DCC 到设备的转换链路同样要专门设计，glTF 与压缩纹理的取舍可参考图形学侧的资产管线讨论，而 XR 侧额外要求「同一资产在左右眼一致、在低端设备可降级」。

13.1 一体机资产预算参考

这些数字会随芯片代际变化，但量级在一体机上是稳定的，可作为美术规范下发。

14. 工程复杂度来源

XR 项目延期最常见的五个原因，值得提前管理：

• 设备获取难：真机数量少、固件版本不一致，CI 无法覆盖。
• 性能预算紧：一体机上 GPU 与功耗双约束，PC 上跑得动不代表设备上跑得动。
• 追踪边界多：弱光、白墙、快速运动、大面积反光都会让追踪降级，需要逐一处理。
• 人因问题隐蔽：晕动症、视觉疲劳、IPD 不匹配等问题在开发机上不明显，要到用户手上才暴露。
• 分发与合规：商店审核、隐私（摄像头与眼动数据）、医疗与工业资质。

对应的工程对策是：尽早拿到真机、建立设备矩阵、把性能指标纳入 CI、把舒适度做成可配置项。

15. 行业落地概览

XR 目前跑通的场景集中在「培训、远程协作、可视化」三类，共同点是替代高风险、高成本或难以到场的活动：

• 工业：装配指导、远程专家、数字孪生巡检，ROI 来自减少停机与差旅。
• 医疗：手术规划、医学教育、康复训练，需要精度与合规双达标。
• 教育：虚拟实验室、历史场景重建，看重内容制作成本。
• 零售与地产：虚拟试穿、看房，看重转化率与免安装。

行业落地的成败往往不取决于渲染质量，而取决于内容制作成本与部署维护成本，这部分的展开见 XR 行业落地：教育医疗与工业 。

15.1 落地 ROI 的构成

判断一个 XR 项目是否值得做，最简单的方法是问：「不用 XR 的替代方案成本是多少」。如果替代方案是纸质手册或电话支持，XR 的价值就很容易量化；如果替代方案本身已经很好用，XR 大概率只是噱头。

16. 权衡取舍

• FOV 与 PPD：大 FOV 沉浸感强但像素摊薄，当前无法兼得，按内容类型取舍。
• VST 与 OST：要遮挡与色彩一致选 VST，要低延迟与高透明度选 OST。
• 一体机与 PC VR：一体机免线缆但算力受限，PC VR 画质高但受线缆与基站约束。
• 手部追踪与手柄：免手柄降低门槛，但精度与疲劳度都不如手柄，游戏仍以手柄为主。
• 注视点渲染与画质：省 30% 到 50% GPU，代价是外围分辨率下降，需按眼动精度调参。
• WebXR 与原生：WebXR 免安装易传播，但性能与能力受限，重度应用仍需原生。
• 90 Hz 与 120 Hz：高刷新降低不适但压缩预算，社交类可 90，节奏快的动作类优先 120。

17. 常见坑清单

• 把 XR 当普通 3D 应用做：忽略 Motion-to-Photon 预算，一动就晕，必须先定延迟目标。
• 只在一台设备上测：不同头显 FOV、IPD、刷新率差异大，必须建设备矩阵。
• 忽视追踪降级：白墙、弱光下平面检测失败，代码没有兜底路径直接崩溃。
• 用固定分辨率：一体机必须动态调整渲染分辨率，否则要么掉帧要么浪费功耗。
• 在 CPU 上做重逻辑：XR 单帧预算只有 11 ms（90 Hz），主线程阻塞直接掉帧。
• 忘记单 Pass 立体：两次绘制让 CPU 提交翻倍，一体机上常是瓶颈。
• 忽略 IPD 设置：瞳距不匹配导致重影与疲劳，必须读取并应用用户 IPD。
• 把舒适度当可选项：没有瞬移、没有舒适转向选项，用户 5 分钟就摘头显。
• 忽视隐私合规：摄像头与眼动数据属敏感信息，上架前必须过审。
• 低估内容制作成本：模型、材质、交互都要为 XR 重做，成本常超预期。

18. 小结

空间计算的工程主线可以概括为：用 SLAM 建立世界模型 → 用 OpenXR 抹平设备差异 → 用立体渲染与时间扭曲守住延迟 → 用空间锚点维持内容位置 → 用舒适度设计留住用户。六根支柱里，显示光学与追踪是地基，交互与渲染是表现，运行时与管线是工程效率。

对刚入门的团队，建议路径是：先在手机 AR 上跑通平面检测与锚点，理解世界坐标系；再上 WebXR 快速验证交互；最后进入一体机做完整产品，把性能与舒适度作为一等指标。

本专题后续 11 篇会沿这条路径逐层展开，第一篇推荐从 XR 显示光学与头部眼动追踪 读起，建立硬件直觉；如果更关心工程落地节奏，也可以先读 一体机 XR 性能优化实战 。

延伸阅读

• XR 显示光学与头部眼动追踪 — 面板、光路与追踪硬件
• ARCore 与 ARKit 平面检测与锚点 — 手机 AR 的世界理解
• 一体机 XR 性能优化实战 — 移动芯片上的性能预算
• 延迟渲染与 Tiled/Clustered 光照剔除 — 立体渲染依赖的底层管线
• 计算机视觉技术全景 — 空间理解背后的视觉算法