阿里入局 AI+AR 眼镜，为雷鸟创新独家定制眼镜版大模型
前沿技术
|
2021-08-06
就算我头戴 VR，我也要让你看到我的眼神 | 前沿技术
这是一个愚蠢的想法，充其量是一种新奇事物。
很多企业的科学研究（比如 AI/AR 等前沿研究）因为商业化的压力而黄了，但 Facebook 仍在疯狂地在实验性的研究项目上做投入。
近日，Facebook Reality Labs （FRL）的科学家 Nathan Matsuda 通过博客展示了一项实验性的 VR 研究——反向透传 VR（reverse passthrough VR）。
佩戴 VR 设备的人，他的眼睛能够「透传」到设备外面的显示屏上，让你能看到他的眼睛——就像下图的样子，八角形的镜框里装的不是透明玻璃片，而是 3D 显示屏。
此前 Facebook 曾推出过 Passthrough+ 和实验性的 Passthrough API 技术，虽然都叫「透传」，但这些是让佩戴 VR 设备的人能够看到外面的情况。
而反向透传则与此正好相反，是让外面的人看到里面的情况，这样，就促进了眼神的交流。因为通常 VR 头戴设备是密封的，里面的人看不到外面，外面的人也看不到里面。
Matsuda 在两年前就启动了项目研究，当时的做法是，佩戴定制的 Rift S 设备，正面装有 3D 显示器。在屏幕上，他的面部浮动 3D 图像由游戏引擎粗略渲染，使用来自设备内的一对眼动追踪摄像头的信号重新创建了他的眼睛注视。
Matsuda 第一次把这项研究展示给他的老板——FRL 首席科学家 Michael Abrash 时候，Abrash 的第一反应是：这是一个愚蠢的想法，充其量是一种新奇事物。但他还是支持了 Matsuda 这样做，因为这很独特。
两年后，3D 显示技术和研究原型有了显着的发展，具有专门构建的光学、电子、软件等一系列的技术支持，可以捕捉和描绘更逼真的 3D 面部。
Matsuda 公布的原型设备将在下周的 SIGGRAPH 大会上展示。目前如球盟会登录入口网页版所见，这个设备上插满了摄像头和电缆，距离独立设备还很远，并且，眼睛和面部的渲染还不够逼真。
尽管它离产品路线图还很远，然而，它确实让球盟会登录入口网页版看到了未来——通过反向透传实现的虚拟世界和现实世界的融合。
左图：禁用了外部显示器的 VR 设备，代表当前的技术水平。外界看不到佩戴者的眼神。
中图：带有外向 2D 显示器的 VR 设备。外界可以看到佩戴者的眼神，但视角不准确，比较难判断眼神的方向。
右图：最新的带有外向 3D 显示器的 VR 设备，运用了反向透传技术，外界可以看到佩戴者的眼神，并能够判断眼神的方向。
Matsuda 在博文中透露，在这项研究中，FRL 使用了微透镜阵列光场显示器，因为它很��，构造简单，并且基于现有的消费类 LCD 技术。这些显示器使用一个微小的透镜网格，将来自不同 LCD 像素的光向不同方向发射出去，这样观察者在从不同方向观看显示器时会看到不同的图像。
但 FRL 的这套系统并非都是革命性的。
HTC 在 vive Pro 头显设备上安装了面部追踪插件，将运动映射到 VR 设备内的虚拟形象上，尽管没有向外的显示器，但映射原理是相似的。
HoloLens 等 AR 和 XR 设备采用了透明或半透明的镜片，通过提升透光度来实现虚拟世界与现实世界的「透传」，其效果，远远比 Facebook 的反向透传 3D 成像要清晰和真实得多，并且也没有视角的问题。
Facebook 的这项研究其实是想论证，即便是 VR 头戴设备的外壳是密封的，即便 VR 头戴设备的镜片是不透明的或被完全遮挡的，但有了反向透传技术，就不会影响到佩戴者与外界的眼神交流。
微信号：shenzhenware / 球盟会登录入口网页版
主笔：周全 / 球盟会登录入口网页版
编辑：陈述 / 球盟会登录入口网页版
