透视 MR 与场景理解

选择依据：
  需要「虚拟物体被真实物体遮挡」 → VST
  需要「真实世界零延迟、高透明度」 → OST
  需要「室外可用、大 FOV」 → VST（OST 户外几乎不可用）
  工业场景需要「看穿显示、长时间佩戴」 → OST

物理光子
  → 摄像头曝光（1~8 ms，受曝光时间影响）
  → 传感器读出（2~5 ms）
  → ISP 处理（去马赛克、降噪、白平衡、3~8 ms）
  → 畸变校正与立体校正（1~3 ms）
  → 时间扭曲 / 重投影（1~2 ms）
  → 与虚拟内容合成（1~2 ms）
  → 显示面板扫描输出（2~5 ms）
  → 光子出射

合计约 15~35 ms（不同设备差异大）

关键工程点：
  1. 曝光时间是延迟的硬下限
     暗环境下必须拉长曝光 → 延迟上升 → 拖尾加剧
     这是「暗处 MR 体验差」的根本原因。

  2. ISP 是黑盒
     多数设备的 ISP 由厂商固件控制，应用无法干预
     能做的是「接受现状 + 在合成阶段补偿」。

  3. 多摄像头拼接
     彩色透视常用多颗摄像头拼接大 FOV，
     拼接缝处容易出现畸变与色差，需要在合成时融合。

延迟的缓解：
  1. 提高摄像头帧率（60 → 90 Hz）缩短曝光窗口
  2. 时间扭曲（Timewarp）：用最新的头部位姿重投影透视画面
     —— 能消除「转头时世界滞后」，但不能消除「世界本身延迟」
  3. 减少 ISP 处理量（部分设备支持低延迟模式）
  4. 传感器融合预测：预测「光子出射时刻」的头部姿态

畸变的校正：
  1. 相机内参标定 → 得到畸变系数
  2. 用网格（Mesh）或查找表（LUT）做反向映射采样
  3. 在合成阶段与虚拟内容一起做（共享一次采样）

// 畸变校正的片元着色器思路（径向畸变，Brown-Conrady 模型）
vec2 undistort(vec2 uv, vec2 center, vec3 k) {
    vec2 d = uv - center;
    float r2 = dot(d, d);
    float r4 = r2 * r2;
    // k1、k2、k3 为径向畸变系数
    float factor = 1.0 + k.x * r2 + k.y * r4 + k.z * r4 * r2;
    return center + d * factor;
}
// 注意：做的是「反向映射」——对每个输出像素，
// 计算它在畸变图上的采样位置，避免出现空洞

校正的常见问题：
  □ 只做一次标定就长期使用 → 温度变化导致参数漂移
  □ 边缘校正不足 → 画面边缘出现「波浪」
  □ 色差未校正 → 边缘出现彩边（尤其高对比处）
  □ 多摄像头拼接缝未融合 → 明显可见的接缝

1. 平面（Plane）
   用少量平面拟合环境（地面、桌面、墙面）
   优点：稳定、开销低、适合放置
   缺点：只能表达平面，无法表达曲面与杂物

2. 空间网格（Spatial Mesh / Scene Mesh）
   用三角网格重建环境几何
   优点：表达完整几何，可做遮挡与碰撞
   缺点：开销大、噪声多、更新慢

实践中两者并存：
  平面用于「放置」（稳定、易用）
  网格用于「遮挡与物理」（完整、但需滤波）

空间网格的生成链路（以 Quest 的 Scene API 为例）：
  深度传感器 / 双目立体 → 深度图
    → 点云 / TSDF 体素融合（截断符号距离场）
    → Marching Cubes 提取网格
    → 网格简化与平滑
    → 按块（Block）管理，供应用查询

关键参数：
  体素大小（Voxel Size）：常用 3~10 cm，越小越精细越贵
  更新范围：通常只重建用户周围 5~10 m
  更新频率：几 Hz 到十几 Hz，非每帧

// Quest 3 Scene API 查询空间网格（示意）
var scene = FindObjectOfType<OVRSceneManager>();
foreach (var room in scene.Rooms) {
    foreach (var anchor in room.Anchors) {
        var meshFilter = anchor.GetComponent<MeshFilter>();
        // 网格是「重建结果」，会随时间更新，不要长期缓存顶点
    }
}

遮挡的实现方式（网格路径）：
  1. 把空间网格渲染到深度缓冲（Depth Pre-pass）
  2. 虚拟物体渲染时与深度缓冲做测试
  3. 被真实物体挡住的像素不写入颜色

优化：
  □ 只渲染「附近」的网格块
  □ 用低精度网格做深度，减少开销
  □ 深度预渲染可以与虚拟内容渲染并行

遮挡的三个典型问题：
  1. 边缘「锯齿」：网格精度不足，遮挡边界呈台阶状
     → 用软遮挡（Soft Occlusion）在边缘做渐隐
  2. 深度噪声：单目深度估计的抖动导致遮挡闪烁
     → 对深度做时间滤波
  3. 「悬浮感」：虚拟物体贴着网格但网格略低于真实桌面
     → 加入 1~2 cm 的偏置，或按语义类别调整

语义类别（Quest 3 / ARKit 的常见标注）：
  墙面（WALL）、地面（FLOOR）、天花板（CEILING）
  桌面（TABLE）、沙发（COUCH）、门（DOOR）、窗户（WINDOW）
  其他（OTHER）

语义的用途：
  1. 内容放置：知道是桌面，才能把物体放在桌面而不是悬空
  2. 遮挡策略：人手、宠物的遮挡优先级高于静态家具
  3. 交互规则：门可以开关，墙不能穿过
  4. 光照：窗户是光源方向，地面是反射面

// 按语义类别决定放置高度（示意）
void PlaceOnSurface(Vector3 hitPoint, OVRSceneAnchor anchor) {
    var semantic = anchor.GetComponent<OVRSemanticClassification>();
    float offset = 0f;
    if (semantic.Contains("TABLE"))  offset = 0.02f;  // 桌面留 2cm
    if (semantic.Contains("FLOOR"))  offset = 0.0f;   // 地面直接贴
    transform.position = hitPoint + Vector3.up * offset;
}

语义分割的实现（设备侧）：
  输入：摄像头图像（RGB）+ 深度
  模型：轻量语义分割网络（如 MobileNet 骨干 + 解码器）
  输出：逐像素类别 或 逐平面/网格块的类别
  频率：通常 1~5 Hz，非每帧

工程约束：
  □ 移动端算力有限，分割模型必须极小
  □ 类别不宜多（10 类以内），否则精度下降
  □ 结果要做时间平滑，避免类别在帧间跳变

锚点的层次：
  1. 会话内锚点（Local Anchor）
     仅在当前会话有效，设备重启即失效
     适合：临时放置、会话内的内容

  2. 持久化锚点（Persistent Anchor）
     存储在世界地图中，跨会话恢复
     需要设备记住「环境特征」并重新定位

  3. 云锚点（Cloud Anchor）
     锚点上传云端，多设备共享
     适合：多人共享同一虚拟内容

持久化的链路：
  1. 创建锚点 → 记录锚点周围的视觉特征
  2. 保存到本地（或上传云端）
  3. 下次会话：设备重新扫描环境 → 特征匹配 → 重定位
  4. 恢复锚点位姿 → 内容出现在原处

失败模式：
  □ 环境变化（家具挪动、光照剧变）→ 特征匹配失败
  □ 特征不足（白墙、空地）→ 无法重定位
  □ 时间久远 → 地图过期，需要重新建图

放置的判据（按优先级）：
  1. 语义合适：花瓶放桌面，地毯放地面，画挂墙上
  2. 空间足够：物体尺寸要放得下（不要穿墙、不要悬空）
  3. 可达性：用户伸手或射线够得到
  4. 不挡路：不放在用户的必经路径上
  5. 光照合理：不放在完全没有光的位置（否则虚拟物体的影子不合理）

放置交互的常见范式：
  □ 射线放置：射线打到平面，预览幽灵物体，确认后落位
  □ 手势放置：手部捏合抓取物体，松手落位
  □ 自动放置：系统按语义与规则自动选位置（适合非技术用户）

预览（Ghost Preview）是必做项：
  落位前显示半透明预览与落位姿态，
  用户确认后再实体化，能大幅降低「放错位置」的挫败感。

需要匹配的三件事：
  1. 色温与强度
     真实房间是暖黄光，虚拟物体却按冷白光渲染 → 立刻出戏

  2. 环境光探针（Light Probe / SH）
     从透视画面估计环境光的球谐系数，
     用真实的 SH 照亮虚拟物体

  3. 阴影
     虚拟物体要在真实地面上投影，且方向与真实光一致
     没有影子的虚拟物体看起来像「贴纸」

从透视画面估计光照（设备侧）：
  1. 对透视画面做下采样
  2. 估计环境光的球谐系数（前 3 阶，9 个系数）
  3. 用该 SH 驱动虚拟物体的 IBL（基于图像的光照）
  4. 估计主光方向（用于阴影）

阴影的实现选择：
  □ 投影阴影（Projected Shadow）：简单，适合平面
  □ 阴影贴图（Shadow Map）：通用，但需要方向光
  □ 屏幕空间接触阴影（Contact Shadow）：
     在物体与真实表面接触处绘制暗色渐隐，
     成本低、效果自然，是 MR 的性价比之选

1. 视差（Parallax）
   摄像头与眼睛位置不同，导致透视画面与真实视角有偏差。
   近距离操作时视差明显，用户会觉得「手的位置不对」。
   缓解：把摄像头尽量靠近眼睛，或按深度做视差校正。

2. 视野不匹配
   摄像头 FOV 与显示 FOV 不一致，边缘出现黑边或拉伸。
   需要在合成时做裁切与映射。

3. 分辨率与清晰度
   透视画面常低于显示分辨率，文字与细节模糊。
   缓解：提高摄像头分辨率、用超分重建。

4. 立体感
   单摄像头无立体，双摄像头才有深度感。
   立体基线不足会导致「扁平」感。

可用性的量化目标（VST）：
  □ 透视延迟 ≤ 40 ms（否则明显拖尾）
  □ 透视分辨率 ≥ 显示分辨率的 70%
  □ 视差校正误差 ≤ 2 cm

降级策略（按帧预算从紧到松）：
  1. 降低空间网格的精度与更新频率
  2. 关闭远处网格的遮挡，只保留近处
  3. 语义分割降频（5 Hz → 1 Hz）
  4. 关闭软遮挡，退回硬遮挡

关键原则：
  透视延迟与位姿精度是「不可降级」项，
  其他一切（网格精度、语义、阴影）都可降。

透视：
  □ 明确 VST / OST 选型，接受各自缺陷
  □ 畸变校正覆盖径向与切向，含色差校正
  □ 暗处主动降级（低延迟模式）

场景理解：
  □ 平面用于放置，网格用于遮挡与物理
  □ 网格做时效管理，不长期缓存顶点
  □ 语义分割轻量化 + 结果时间平滑

锚点：
  □ 明确会话内 / 持久化 / 云端的需求
  □ 为「重定位失败」设计兜底（提示重新扫描）

放置与光照：
  □ 放置前显示幽灵预览 + 吸附
  □ 从透视画面估计 SH 与主光方向
  □ 用接触阴影让物体「落地」

性能：
  □ 透视与追踪不降级，其余按预算降
  □ 网格精度与更新频率是首要调节旋钮