图十五，图片来自 HTC VIVE LIGHTHOUSE CHAPERONE TRACKING SYSTEM EXPLAINED 视频截图

相比红外，Lighthouse 的方法方便很多，没有那么多光学计算，误差和延时都有所保证，可以达到 20ms 以内。但激光扫描区域一般在 5 * 5 * 2 m 范围内，如果要扩大，需要多个灯塔，这时候多空间的融合又会出现算法问题。为了实现定位，光敏传感器需要区分不同来源的激光，而光塔过多也会相互干扰。

另外，Lighthouse 在安装和成本上仍然要比 inside-out 高，但延时性低，精度高，在需要特别拟真的环境仍然需要这种技术。

Inside-out

Inside-out，主要通过摄像头拍摄周围的画面，通过图像识别判断房间景物的一些特征点，通过与上一次拍摄时的特征点位置进行对比，从而得到特征点的位移。与此同时借助 IMU 得到辅助数据，通过算法得到头显的位移情况。同样，在手柄上存在一些小白点，摄像头也通过捕捉小白点的位移判断手柄的变化情况。

因为是可见光识别，所以房间内得保持一定的亮度，不能关灯。

此外，因为依靠摄像头识别外部的标记点，如果角度识别精读差异 1 度，整个距离可能偏移几厘米，Inside-out 对精度要求十分之高。又由于需要计算图像显示，所以它的延时没有办法像 Lighthouse 一样低。

Inside-out 主要依靠 VGA 摄像头和深度识别摄像头进行 3D 空间定位。VGA 摄像头，配合深度识别摄像头，主要用来做头部空间定位和手势识别。VGA 是指的 VGA 格式的分辨率，640X480 ，黑白。深度识别摄像头，主要用来识别物体的距离（实际上也可以识别骨骼点，但不需要），主要有三种技术：

1. TOF：原理是传感器发出经调制的近红外光，遇物体后反射，通过计算光线发射和反射时间差或相位差来换算被拍摄物体的距离。
2. 单目结构光：该技术将编码的光栅或线光源等投射到被测物上，根据它们产生的畸变来解调出被测物的三维信息。
3. 双目结构光：和人眼一样用两个普通摄像头以视差的方式来计算被测物距离。

2. 面部、眼动和手势追踪

有了空间定位，VR 可以实时渲染出对应的画面结果。然而人不止和世界交互，也要和人交互。试想，如果我们想要在虚拟空间中同家人，亲朋好友交流，那么我们势必需要看到他们的神情，这其中最重要的便是面部表情和眼神。

图十六，图片来自 MARK ZUCKERBERG: FIRST INTERVIEW IN THE METAVERSE | LEX FRIDMAN PODCAST 视频截图，图为 ZUCKERBERG 和 FRIDMAN 在 VR 世界中的面部重建

1）面部识别

面部识别主要靠摄像头，放在头显内部，追踪如额头、下巴、脸颊的变化情况，追踪原理和空间定位差别不大。一般可以用在如下的场景下：

面部识别存在的问题是，当戴上头显时，人脸 60% 的地方是被遮住的。Magic Leap 的想法是，虽然有的地方被遮住，但可以根据周围未被遮住的肌肉变化来推测。当然，越多的摄像头还是更有助于捕捉真实表情。

Oculus 在训练面部识别时，用了 9 颗摄像头，只是到了消费级，才用 3 颗摄像头并配合 9 颗摄像头训练出来的算法进行面部追踪。

2）眼动追踪

眼部追踪主要靠眼动追踪摄像头。眼动追踪的原理是利用光摄入瞳孔反射到角膜的原理，测算角膜和瞳孔的距离来判断眼动的情况。VR 的眼部周围有一圈红外光 LED 灯，向眼睛发射红外光，光从瞳孔反射到角膜上，摄像头拍摄图像，判断瞳孔和角膜的位置，从而判断眼动的情况。

眼动追踪带来的益处很多，除了眼神与渲染的人物同步，最熟知的是眼动交互，和手势交互一起可以带来自然的交互体验。另一个重要的好处在于，人类的视力在整个视野中并不均匀。中央凹是视网膜的中心区域，视力最好。

在中央凹区域外，视力逐渐下降到视网膜边缘。这样，实际上画面的渲染只需要关注到视线聚焦处，这样可以降低计算渲染成本。此外，有了眼动追踪后，VR 的瞳距可以根据佩戴者的身份自动调节；在运营层面，可以根据眼睛聚焦情况进行数据分析。

还有一个隐藏的好处，主要是体验层面。VR 中的 3D 成像效果，是通过向每只眼睛显示一个独特的 2D 图像来创造 3D 感觉，其中每个图像的渲染略有不同，以产生双眼视差，从而带来 3D 效果。

但是，用户眼睛和图像之间的距离（也即显示屏与人眼的距离）是固定的，所以实际上会导致眩晕问题，也就是所谓的视觉汇聚调节冲突（VAC）。通过眼动追踪 变焦显示器，VAC 可以得到缓解。

变焦显示器使用眼动追踪来主动跟踪眼睛的会聚，并使用具有可变焦距的聚焦元件来匹配眼睛的会聚。至于变焦技术，主要是机械式变焦（电动齿轮，改变镜头和物体、视线焦点的距离）。

3）手势识别

有了面部表情和眼动追踪外，我们还需要手势识别，以进一步与虚拟世界交互，比如拾取、点击，或只是简单的 say hello。手势识别所用的摄像头和空间定义一致，都是 VGA 摄像头，识别原理类似。

手势识别主要的难点在于：一般摄像头的视场角都讲究水平，垂直视场角的高度不够，所以手跑到摄像头的视线范围之外就很难办。而在人类大部分的自然任务中，手都是处于下视野的范围，手势追踪的实际难度会很大。

另外，根据对照实验，采用手势追踪的任务效率，会低于直接用手部控制器的方式，一是因为延时，二是因为纯手势交互缺乏触觉提示和反馈，而人需要后两者以定位操作对象。Apple vision Pro 通过手眼融合的方式，提供了一种视觉反馈，变相弥补了下纯手势交互的问题。

此外，它还配了六颗摄像头（一般是 4 颗），其中两颗专门垂直向下以捕捉下视野的手。

4）全彩透视

如果说空间定位和面部、眼动追踪是与虚拟世界交互。那么 VR 很快有了一个更大的野心：升级成 XR，捕捉现实世界的动态。全彩透视，使用 VST RGB 摄像头，用于捕捉带着 VR 头盔的用户所看到的真实景象。VST 指 vedio see through，RGB 是图片颜色格式。

VST 原先都是黑白的，用来看周围空间，现在成了 MR 的入门券。无心插柳柳成荫，原先是为了让用户能够看到周围的真实空间，以确定活动范围的透视，却悄然一变，变成了与 AR 类似的功能。

不过囿于成本，VST 也没有全部采用全彩。如 Quest pro 用 VST，两颗黑白镜头建场景，一颗 RGB 摄像头用来补色，不过现在也出现了双目的 RGB，体验越来越好。

VST 要注意三点：

1. 清晰度：简言之就是看到的画面要和现实中一模一样。
2. 延时性：要低，不然画面和动作不一致，用户会晕。
3. 视角偏差：摄像头的位置和人眼的位置不一致，所以画面容易产生视角偏差，长时间使用可能出现视觉伪影，有点像水里折射的情况；所以要提前设置算法矫正。

其实，虽然 VR 推出了全彩透视的功能，但并不意味着 VST 一定要放在一体机上，那样相比于 AR 并没有太大的优势。如果拿 PC 和手机类比 VR 和 AR，VR 是 PC 的延伸，承载的是重活，而 AR 更擅长可移动的小场景。VR 在肉眼可见的未来，很难达到出街的可能，VST 的作用仅仅是家庭活动，例如游戏、音乐、绘画。

图十七，Hauntify Mixed Reality 让鬼出现在家中真实房间

VR 的 VST 中，真实世界的元素更多成为一种背景，增加活动本身的乐趣，但却不是主体。试想，如果 VST 和 VR 主机分离，VST 作为 VR 的配件，可以配置到工厂、医院，通过无线传输实时渲染，那是否能够真正实现数字孪生？而 VR 也将真正闯入工业级的应用。

旅程到这里，其实已经结束了。VR 的核心就是光学方案和空间定位，以及基于此的渲染和定位算法。不过，为了方便读者后续阅读某些拆解报告时，对上述内容外的一些概念不太了解，特在最后一章附上相关的名词解释。

1. 头盔、手柄

• 接近传感器: VR 头盔的接近传感器一般用红外，由一个红外发射管和一个红外接收管组成。红外发射管会发射一调制红外光信号，该信号在遇到障碍物后被反射回来，接收管通过接收该反射信号并根据反射信号的强度来判断障碍物的远近。
• 玻纤: 头盔所用材料，耐热、绝缘、超轻。
• 霍尔芯片: 霍尔IC是将霍尔元件与运算放大器组为一体的产品。霍尔元件一般用在手柄上，用于检测扳机、侧键是否按下；霍尔元件从元件本身获得的电压非常小，因此一般情况下需要配置运算放大器等的放大电路。
• 马达驱动芯片: 马达即电机，控制马达的正转、反转、刹车等，用于控制震动马达。
• 线性马达: 通电的线圈在磁场中受到洛伦兹力作用，带着动子沿固定方向往复运动产生振感，是一种能将电能直接转换成直线运动机械能; 线性马达的振动频率和波形均可编程，能根据使用场景，让马达做出不同方向、时间和强度的振动反馈。
• X 轴线性马达: 动子沿 X 轴方向移动的马达，可以带来前、后、左、右四个方向的震动感觉（X、Y 轴）。
• Z 轴线性马达: 动子沿 Z 轴方向移动（x，y，z 轴），带来上、下的震感。

手机上一般配 X 轴，因为手机薄，Z 轴行程短，效果不好；手柄上就不是了，双关齐下；早期还有一种转子马达，利用电磁感应，用电流导致的磁场驱动转子旋转而产生振动。这种方法的问题是延时，缺乏方向性，震动的手感不好。

2. 计算、通信、存储

• IC: Integrated Circuit 集成电路芯片的简称。集成电路芯片是一种电子元件，是将多个电子元件（如晶体管、电容、电阻等）集成在一起，通过半导体制造工艺制成的电路。集成电路芯片有很多类型，比如存储器芯片、处理器芯片等。
• CPU: Central Processing Unit ，中央处理单元，主要用于计算机指令的逻辑计算和输入、输出控制。
• DRAM: Dynamic Random Access Memory，动态随机存取存储器，RAM 的一种，用于数据的临时存储，主要用于存储运行中的程序和数据。
• LPDDR5: DRAM 的一种，全称Low Power Double Data Rate SDRAM，其中 SDRAM 是 Synchronous Dynamic Random Access Memory 的缩写，表示同步动态随机存取存储器。LPDDR5 的读取速度可以达到 6400MHz，表示内存每秒钟可以进行6400万次数据读写。
• ROM: Read Only Memory，只读存储器，用于永久保存数据，也即我们一般意义上的内存。
• 闪存 UFS 3.1: Universal Flash Storage, 读写速度可以达到几百MB/s或甚至上千MB/s，一般插 U 盘在电脑上，数据从 U 盘上的读取、写入就看闪存的能力。
• MCU: Microcontroller Unit, 微控制器单元，集成了处理器核心（CPU）、存储器（RAM）和输入/输出接口等功能。
• SoC: System on Chip, 系统级芯片,将系统的大部分或全部组件集成在一块芯片上，通常包括处理器、内存、输入/输出接口、模拟电路、数字电路和其他外围设备等。SoC 可以简单理解为 MCU 特定功能的外设集成。
• FEM: Front-end Modules，前端模块，主要用于射频信号的发送放大、接收放大、滤波等，用在手柄、头盔（2.4 G、5G 射频）的通信。
• FPGA: Field Programmable Gate Array，可编程的集成电路，优势是高速、实时处理大量数据，用于对视觉画面、传感器数据等的并行处理。

3. 电源管理

• 钽电容: 电容器，主要用来存储电荷。
• 电压电平芯片: 解决不同电压电平之间兼容性问题的集成电路芯片，电压电平芯片可以将输入信号的电压范围转换为输出信号的电压范围。电平电压芯片将VR头显与计算机或游戏主机之间的信号进行转换，以确保它们能够正常地进行数据传输和通信。
• 稳压芯片: 将输入电压转换为稳定输出电压的集成电路芯片。
• 升压芯片: 将输入电压升高到更高电压的集成电路芯片，升压芯片也有使用运放的方案。
• 运算放大器: Operational Amplifier，简称Op-Amp，可以将微弱的模拟信号放大到适合后续处理的范围，也放大输入之间的电压差；VR 中作为 LED 驱动或者其他驱动的放大器；运放也有用在升压芯片的方案。
• OTG 扩展供: On-The-Go，USB 2.0 规范的补充，供电是指在使用OTG 功能时，主机设备（比如电脑）为连接的外设（比如 VR 头显）提供电源供应。
• 电源管理芯片: 顾名思义，对电源起到管理作用，具体包括。
• 电源变换：将输入电源的电压和电流转换为适合系统需求的电压和电流。
• 电源分配:将电能分配给不同的系统组件，以满足其功耗需求。
• 电源检测:监测电池电量、充电状态和系统负载等信息，以提供电源管理的智能化控制。
• 其他电能管理功能：如电池保护、温度监测和功率管理等。

这应该是我自《张小龙 22 年》后写的最长的文章了，无论是字数还是时间。写长文不容易，记得当时写张小龙的时候，大概花了一个星期，虽然在微信上没发出多久就被腾讯封了，但在 pmcaff 上还有留存（链接放在了参考中），并得到了池建强老师的推荐，也算满意了。

写这篇文章，比写人物要困难多了，太多的专业术语，以及技术理解。原先我以为自己懂了的概念，其实真正串起来，又延伸出许多枝蔓，又一点点去查。

好在有 perplexity 的帮助，简化了我的一些工作量。不过写作的乐趣正在于此，它是一座迷宫，有时只想理解一个概念，又牵扯到另一个概念，概念与概念之间的关系又引发了新的着迷。

有一些很不错的信息源在此过程中也被发现，例如雷锋网的 VR 专题、知乎上胡痴儿的早年回答，以及 B 站 Up 主消失的模因的精彩视频。可惜，前两者已经不再更新了。

当然，最惊喜的是终于发现了一本介绍 VR 全貌的书籍，《The VR Book》，虽然成书于 2016 年，但作者功力深厚，仍然不失为理解 VR 的最佳材料之一。

这篇文章，大概可以 2 个月以来，对 VR 的研究结果，是给自己一个交代。里面一定有诸多问题，受限于自己当前的见识，有所偏颇，但第一步既已踏出，便可以在后续的学习道路上增删改查，可谓是写完后最大的收获了。我想，在消费电子业无聊的状态下，有一件有意思的事物可以研究，便很快慰了。

参考：

1. 人类的视觉增强探索史：https://www.uisdc.com/evolution-of-ar-and-v
2. XR 设备发展史：https://www.scaruffi.com/memejam/vr.html
3. Philco HeadSight 介绍：https://www.virtual-reality-shop.co.uk/philco-headsight-1961/
4. 凸透镜成像原理：https://www.junyiacademy.org/junyi-science/science-high/science-high-history/s5p-99/junyi-geometric-optics/v/F-qVxGLJT1Y
5. 了解 AR/VR 的光学原理：https://imgtec.eetrend.com/blog/2022/100557077.html
6. VR视场角真的是越大越好吗？- 大朋工程师的文章 – 知乎 https://zhuanlan.zhihu.com/p/22252592
7. 重新认识鱼眼镜头：https://www.bilibili.com/video/BV1TL41117ti/?spm_id_from=333.1007.top_right_bar_window_history.content.click;vd_source=7cf1f568229c6f5b4a7c23f5a2e85cbc
8. VR沉浸感的奥秘，人眼如何通过双目视差硬解深度信：https://www.bilibili.com/video/BV11A411m7Sw/?share_source=copy_web;vd_source=c7e29439c97151c3755a46ccd4c8160a
9. 如何充分利用视觉系统对深度的感知从而营造更强的立体感与深度感？：https://www.zhihu.com/question/46552885
10. 光场与人眼立体成像机理：http://vr.sina.cn/news/2018-10-24/detail-ifxeuwws7707633.d.html
11. 维基百科 – Vergence-accommodation conflict：https://en.wikipedia.org/wiki/Vergence-accommodation_conflict
12. MEMS传感器1：3轴加速度计工作原理揭秘，与这些有关：https://www.bilibili.com/video/BV1NJ41117B8/?share_source=copy_web;vd_source=c7e29439c97151c3755a46ccd4c8160a
13. 深度解析 HTC Vive 的 Lighthouse 室内定位技术 – 虎嗅网：https://www.huxiu.com/article/142795.html
14. Lighthouse 激光定位技术开源了，但不是 Valve 做的 | 雷峰网：https://www.leiphone.com/category/arvr/nu6Zln6hQTdMqSsy.html
15. HTC Vive Lighthouse Chaperone tracking system Explained – YouTube：https://www.youtube.com/watch?v=J54dotTt7k0
16. How the Vive Lighthouse Works – YouTube：https://www.youtube.com/watch?v=oqPaaMR4kY4
17. Hypereal 突然开源？背后所涉的重磅信息都在这里了 | 爱范儿：https://www.ifanr.com/786928
18. 目前最强的 VR 定位技术，HTC 和 OptiTrack 是如何做到的？：https://wapbaike.baidu.com/tashuo/browse/content?id=2e7f4fcdd19a68101416efc6
19. 深度干货：详解基于视觉 惯性传感器的空间定位方法：https://www.leiphone.com/category/arvr/taExbGMOaYfbnnMw.html
20. VR的空间定位技术是如何实现的？- 知乎：https://www.zhihu.com/question/46422259
21. VR空间定位全解：如何在虚拟世界中行走？：https://www.leiphone.com/special/216/201607/577cd787225d6.html
22. 「面部动作捕捉」是一项什么技术？主要应用于哪些场景？- 渲云渲染的回答 – 知乎：https://www.zhihu.com/question/321811525/answer/675319985
23. 【VR速递】OculusQuest面部识别;眼球追踪的研发之路 – 载入圈VR的文章 – 知乎：https://zhuanlan.zhihu.com/p/410829378
24. 面部表情追踪技术在 VR 设备中的发展研究：https://m.fx361.com/news/2019/0106/6266425.html
25. Eye Tracking in Virtual Reality: a Broad Review of Applications and Challenges：https://link.springer.com/article/10.1007/s10055-022-00738-z
26. What is VR Eye Tracking? [And How Does it Work?]：https://imotions.com/blog/learning/best-practice/vr-eye-tracking/
27. Hand Tracking for Immersive Virtual Reality: Opportunities and Challenges：https://www.frontiersin.org/articles/10.3389/frvir.2021.728461/full
28. Quest手势识别功能评测：https://mp.ofweek.com/vr/a645693029046
29. Meta RGB透视VR研究：摄像头距离可调、分辨率720p：https://zhuanlan.zhihu.com/p/569886369
30. 从典型案例看VST MR游戏的设计技巧：https://www.vrtuoluo.cn/536138.html
31. 红外 ToF 技术将大幅提升接近感应传感器的性能及可靠性：https://mouser.eetrend.com/content/2020/100048606.html
32. 何谓霍尔IC？：https://www.ablic.com/cn/semicon/products/sensor/magnetism-sensor-ic/intro/
33. 转子马达、X轴和Z轴线性马达有啥差别？这篇文章总算说明白了！：https://www.cfan.com.cn/2020/0729/134125.shtml
34. MEMS mic之Amic(一)_麦克风thdpn是什么不良代码?：https://blog.csdn.net/weixin_44316365/article/details/124838502
35. EPOS 波束成形麦克风阵列技术优化您的会议体验.pdf
36. 常用的音频功放芯片-电子工程世界：http://news.eeworld.com.cn/qrs/ic628769.html
37. 瑞苏盈科为VR行业提供FPGA核心板解决方案：https://xilinx.eetrend.com/content/2023/100572176.html
38. 同创国芯窦祥峰演讲实录：VR的FPGA应用分析：https://cloud.tencent.com/developer/article/1137422
39. Perplexity：https://www.perplexity.ai/
40. 张小龙的 22 年和微信的 8 年：https://xie.infoq.cn/article/a70d189eaa18334868f8b2a45

专栏作家

善宝橘，*善宝橘，人人都是产品经理专栏作家，2019年年度作者。南大传播学硕士，崇尚终身学习的互联网斜杠青年，专注新媒体、游戏领域的运营策划。

本文原创发布于人人都是产品经理。未经许可，禁止转载

题图来自 Unsplash，基于CC0协议

该文观点仅代表作者本人，人人都是产品经理平台仅提供信息存储空间服务。