阿里入局 AI+AR 眼镜，为雷鸟创新独家定制眼镜版大模型
行业观察
|
2024-06-26
MR 大厂扎进企业级市��，AR 与 AI 相爱更深，全球最大 XR 展会 AWE 有哪些看点和机会？
一文回顾 AWE XR 展会，盘点 16+1 看点。
一年一度的 AWE XR 展会，近日在美国举办。
为了纪念办会 15 周年，AWE 主办方还特意将会场搬到了首届活动举办地加州长滩。
作为 XR 行业的盛会，本届展会吸引了超 300 家厂商参展，超 500 位行业嘉宾登台交流分享，超 6000 名观众报名参会。
.jpg)
△ 图源：AWE
其中包括微软、高通、Meta、Magic Leap、Niantic、联想、PICO、XREAL 等多家业界知名企业，以及众多新创技术公司，都在展会期间亮相发布或展出了最新的技术与产品。
AWE 创始人 Ori Inbar 则发表感慨：
AWE 15 周年纪念日，也是 XR 行业的突破之年。希望这次活动能充分反映 XR 深厚的历史、蓬勃的现状和充满希望的未来。
记得去年 AWE 召开时，正值全球 AIGC 爆火，抢尽了 XR 风头。
开场演讲时，Ori Inbar 整蛊式地将自己「装进屏幕」，并用自己的虚拟人化身念由 ChatGPT 代笔的发言稿。
今年，Ori Inbar 依旧能整活儿。会议开场前，戴着 Vision Pro，在特制的一段虚拟场景中穿梭至舞台。
△ 素材来源：AWE / YouTube
而再次谈及 AI 时，Ori Inbar 明显少了戏谑，而透露出积极拥抱之意，会上更直接地喊出了「AI 爱 XR」的 Slogan，希望通过 AI、XR 结合，共同打造对于行业、消费者有用的功能。
最后，根据市场调研机构 ARtillery Intelligence 预测，2024 年 XR 市场规模将达到 350 亿美元。而企业级 XR 市��，将远远大于消费级市场。
以下，球盟会登录入口网页版汇总整理了 AWE XR 博览会上的看点。
Meta 称 MR 的杀手级应用是培训和模拟，新开发者加速计划发布
Oculus 创始人透露下一代新品为军用
高通与谷歌、三星合作的 XR 平台即将发布
索尼最新 MR 头显亮相，还发布了两款空间现实显示屏
SnapChat 可用 AI 生成 AR 镜头
Niantic 发布全新视觉编辑器和网页游戏引擎
XREAL Beam Pro 海外发布
光学显示技术：Lumus 与 AddOptics 达成战略伙伴，处方眼镜集成波导显示
光学显示技术：Vuzix 与 Avegant 联手，开发 AR 眼镜光学显示模组
交互：Ultraleap 新一代手势追踪方案发布，并与雷鸟达成合作
交互：Doublepoint 推出捏合、凝视 AR 交互方案
交互：VoxelSensors 推出可穿戴凝视交互方案
AI：DigiLens ARGO 眼镜集成谷歌 Gemini 大模型
AI：XRAI Glass 应用集成 AI，可适用于 AR 眼镜
触感：HaptX G1 手套北美发货，年内欧亚洲发货
触感：WEART 推出 TouchDIVER Pro 感应手套
01?Meta 称 MR 的杀手级应用是培训和模拟，新开发者加速计划发布
Meta 产品管理总监 Jamie Keane 在主题演讲中，分享了 MR 头显在行业端的成功应用案例，并强调：
MR 的杀手级应用是培训和模拟。
比如，MR 在实习医生外科手术中的模拟教学。
Meta 混合现实应用程序总监 Anand Dass 在分享时透露，Quest 应用商店销售额已达 20 亿美元，在 500 个应用标题中，有 1/5 都是 MR。
会上 Dass 宣布了一项新的开发者加速计划（Meta Quest Lifestyle App Accelerator），激励开发者利用 Meta Quest 在时尚、家居设计、购物、烹饪、DIY 等新兴生活方式类目上的独特功能，为用户打造有趣的体验。
△ 图源：Meta Quest
Meta 在宣传片中，列出了一款名为 PianoVision 的应用，它利用混合现实来教用户弹钢琴。
△ 素材来源：Meta
该计划为期 6 个月，被选定的开发者可在前期申请资金资助，同时也可获得 Meta 产品、技术支持。
02?Oculus 创始人透露下一代新品为军用
早在 6 月初，Oculus CEO Palmer Luckey 就在社交平台上，宣告称将在 AWE 活动上宣布新品消息，即备受关注。
以至于当天 Luckey 所在的分享场次，房间挤满了观众。
只不过穿着人字拖的 Luckey 会上公布的信息并不多，仅透露：
它是由军事需求驱动的产品，但同时它也能适用于非军事目的。它很特别，也真的很酷！
03?高通与谷歌、三星合作的 XR 平台即将发布
高通亮相了 XR 相关软件与应用技术，同时还展示了搭载骁龙 AR2 Gen1 的 QonoQ XR 眼镜，以及基于骁龙 XR2+ Gen 2 平台下的索尼 MR 头显。
高通高级副总裁兼手机、计算和 XR 业务总经理 Alex Katouzian 在活动期间做了主题分享，谈及高通骁龙平台在 XR 智能计算、无缝多设备体验、生成式 AI 的举措与进展。
△ 图源：高通
高通技术公司 XR 产品管理高级总监 Said Bakadir 还特别指出：
与生成式 AI 的最佳互动方式就是 XR。
值得一提的是，搭载骁龙 AR1 Gen1 平台的明星产品新一代 Meta 雷朋眼镜，在活动期间也是流量明星，会场多处都能看到它的身影。
△ 图源：福布斯
至于未来，Alex 表示高通已和 Meta 签订了多年 VR/MR 协议，双方还将有意深化软硬件系统层的合作，并覆盖至更多 OEM 厂商。
高通与谷歌、三星合作的 XR 平台即将推出，骁龙 Spaces 也将兼容新的平台。
△ 素材来源：高通
04?索尼最新 MR 头显亮相，还发布了两款空间现实显示屏
年初首次亮相的索尼 MR 头显，在 AWE 活动期间开放体验。MR 头显配有 4K OLED 屏幕，以及配有经过优化的 3D 控制器。
MR 头显主要面向在虚拟空间中工作的创作者、艺术家而设计。
此外，索尼还发布了两块空间现实显示器 ELF-SR2（27 英寸）和 ELF-SR1（15.6 英寸），不用佩戴 XR 设备，就可以体验高度逼真的三维画面，进而为 3D 显示、3D 内容，提供设计与创作的便利性。
△ ELF-SR2，图源：索尼
加州大学圣地亚哥分校就利用 27 英寸空间现实显示器，配合 mocopi 无线动作捕捉器，创作出了虚实结合的戏剧内容，观看者还可以与演员进行互动。
△ 素材来源：索尼 / YouTube
05?SnapChat 可用 AI 生成 AR 镜头
Snap 首席技术官 Bobby Murphy 在会上透露了一系列 AR 与 AI 大模型相融合的技术应用。
比如全新的 AI 图像扩散大模型，可以将文字生成为 AR 镜头，并运用到用户实时的画面场景中，进而生成风格各异的图片。
△ 图源：Snapchat
此外，Snap 还计划推出一套新的 AI 工具，使创作者更容易制作 AR 效果。
06?Niantic 发布全新视觉编辑器和网页游戏引擎
Niantic 发布了全新的视觉编辑器 Niantic Studio 和网页游戏引擎，以让开发者、创意人员创作沉浸式 XR、3D 网络游戏。
Niantic Studio 消除了构思和可视化之间的差距，将传统的代码编译、部署、迭代开发周期简化为单一动作，每一个动作都会实时反映，带来了真正的「所见即所得」的奇妙体验。
△ 图源：Niantic
网页游戏引擎则主要用于简化复杂的开发任务，更加直观的框架，可帮助开发者将更多互动、游戏玩法融入 XR 游戏。
目前，Niantic Studio 已免费开放公测。
07?XREAL Beam Pro 海外发布
上月在国内发新的 XREAL，则借着 AWE XR 展会，将新品 Beam Pro 带入海外市场。
△ 图源：AWE / YouTube
Beam Pro 搭载高通骁龙 8 核 SoC，支持 WiFi 6、蓝牙 5.2 连接，内置 4300mAh 电池，支持 27W 快充。
机身正面设有一块 6.5 英寸 LCD 屏幕，背部设有两枚 5000 万像素主摄，能够拍摄空间视频。
△ 图源：CNET
上代 Beam 中的悬停、跟随模式，在 Beam Pro 上也能够支持。
基于 Android 定制的 NebulaOS，也能支持大多数应用的下载与眼镜端显示。
08?光学显示技术：Lumus 与 AddOptics 达成战略伙伴，处方眼镜集成波导显示
活动上 Lumus 展示了 Z-Lens 2D 反射波导方案，配合 LCoS 可以实现最高 3000nit 亮度、1440x1440 像素，50° 视场角显示画面。
在展会期间，Lumus 还与处方镜片解决方案商 AddOptics 达成战略伙伴关系。
未来 Lumus Z-Lens 2D 反射波导架构，将能够无缝集成到 AddOptics 的处方镜片中，允许用户在不影响视力或精度的情况下，体验身临其境的 AR 体验。
09?光学显示技术：Vuzix 与 Avegant 联手，开发 AR 眼镜光学显示模组
同在展会期间，光波导技术公司 Vuzix 与微型光机技术公司 Avegant 宣布合作，两者将联合开发 AR 眼镜光学显示模组。
具体而言，即 Vuzix 将把下一代全彩隐形波导方案，集成至 Avegant LCoS AG-30L2 光机中，目标是实现更高效、轻量级、全彩显示、可批量生产的模组特性，进而支持 AI 加持下的时尚前卫 AR 眼镜的设计需要。
其中，双方合作的初代原型机，在活动上也进行了展示。
10?交互：Ultraleap 新一代手势追踪方案发布，并与雷鸟达成合作
Ultraleap 在活动期间，发布了自家第二代手势追踪方案 Leap Motion Controller 2。
△ 图源：Ultraleap
Leap Motion Controller 2 集成了基于机器学习的手势跟踪技术 Ultraleap Hyperion，较前代控制器有更多样的手势追踪与识别。
同时，与前代相比，Leap Motion Controller 2 具备更高分辨率摄像头、更大的识别范围，整机功耗下降了 25%，体积减小了 30%。
能够兼容高通骁龙 XR 2 平台的 XR 设备，以及 Windows、macOS 等。
同期，Ultraleap、国内 AR 品牌雷鸟创新、神经拟态视觉系统技术商 Prophesee 还宣布，未来三方将联合开发基于消费级 AR 眼镜的低功耗手势追踪技术。
11?交互：Doublepoint 推出捏合、凝视 AR 交互方案
在去年 AWE XR 展会上，芬兰技术商 Doublepoint 曾推出过适用于高通骁龙 W5+ 平台的 Evaluation Kit，基于可穿戴设备内置的传感器拾取肌腱振动数据，可检测包括捏合、表面交互等微手势，进而为 XR 设备带来外置设备输入支持。
同时，也开放了 SDK，供可穿戴厂商接入使用。
今年 AWE 展会上，Doublepoint 再次推新。
新技术方案名为 WowMouse AR，是一款基于 WowMouse 算法技术，打造的专为 Android 智能手表与 XR 设备的交互方案。
WowMouse 在 CES 2024 上发布，使用微手势，能将智能手表转化为手腕上的鼠标。截止目前，该应用已实现了 55000 次下载。
而有了 AR 功能，WowMouse 则可以为 AR 设备带来灵活的交互方式。
△ 图源：Doublepoint
目前，WowMouse AR 对 Magic Leap 2 做了定制适配，通过蓝牙与 Android 智能手表配对后，即可激活「WowMouse AR 模式」，允许用户在 AR 眼镜上凝视、捏合交互。
12?交互：VoxelSensors 推出可穿戴凝视交互方案
空间计算传感器技术商 VoxelSensors 带来了全新的 PERCEPT 架构应用。
△ 图源：VoxelSensors
PERCEPT 主要利用公司自研的单光子有源事件传感器 SPAES，获取准确的 3D 场景数据，以及为可穿戴设备带入凝视追踪功能。
其中 SPAES 传感器检测单个光子，能以每秒高达 1 亿次的速度生成超高分辨率数据点，而刷新率低至 10ns。
这将使设备能够在快速、低功耗的模式下，理解用户意图，结合语音、AI 等交互方式，在设备端为用户呈现直观的 AR 体验。
△ 素材来源：VoxelSensors
13?AI：DigiLens ARGO 眼镜集成谷歌 Gemini 大模型
AR 眼镜技术商 DigiLens，官宣了与谷歌的合作。其 ARGO 眼镜，将集成谷歌 Gemini 大模型。
ARGO 是专为企业设计的 AR 眼镜，搭载高通骁龙 XR2 平台，配置有具备 SLAM 功能的 4800 万像素摄像头，以及多枚麦克风。
△ 图源：DigiLens
搭载 Gemini 大模型后，ARGO 用户在语音交互、及时知识获取时将极为便捷。
除此之外，由 AI 驱动的 ARGO，还可以利用眼镜端侧丰富的传感器，感知使用者所处的环境、意图和着手的工作。这使得相关指令任务，能够在特定的现实场景中，叠加直观可见的虚拟对象。
并且双方还基于 AI 与 AR 的实际使用场景，特别提供增强导航辅助、零售体验、工作手册，以及外科手术等专业任务可视化效果。
△ 素材来源：DigiLens / X
14?AI：XRAI Glass 应用集成 AI，可适用于 AR 眼镜
本届 AWE 活动主舞台字幕均由 XRAI Glass 提供支持，通过手机 XRAI Glass 应用，或者佩戴上 AR 眼镜，就能获取到实时字幕与 75 种语种翻译，还有 AI 服务。
△ 图源：XRAI Glass
XRAI Glass 称，目前应用结合了最新的扩展现实和 AI 技术，可以与下一代 AR 眼镜无缝协作。
15?触感：HaptX G1 手套北美发货，年内欧亚洲发货
HaptX 在活动期间发布了新的 HaptX G1 手套，目前已向北美地区发货，年内将向欧洲、亚洲发货。
△ 图源：AWE / X
HaptX G1 有多款手套尺寸，并符合人体工程学设计，内置的数百个空气动力装置，可以为用户带来真实的触感和力反馈。
压缩空气的流动由重新设计的 Airpack 控制台精准控制，并配有坐式与站立式模式。
△ 素材来源：Skarredghost / YouTube
对于企业用户和开发者，HaptX G1 配备有软件工具包 HaptX SDK 3.0，包含 Unity 插件、C++ API、自然准确控制器的 ROS 节点，以及模拟纹理、振动触感的效果。
16?触感：WEART 推出 TouchDIVER Pro 感应手套
WEART 推出了第二代 TouchDIVER 触觉手套 TouchDIVER Pro。
TouchDIVER Pro 手套具有具有六个驱动点新设计，包括五个手指和手掌。透过 WEART 独特的多模态触觉反��，可提供逼真的力反馈、纹理渲染和温度感应。
△ 素材来源：WEART Haptics / YouTube
TouchDIVER Pro 手套专为 XR 培训、虚拟原型、远程操作，以及沉浸式体验培训类专业人士提供。
主笔：达达
编辑：陈述
题图：Meta Quest 3 / AWE
