据外媒报道,美国专利商标局(U.S. Patent and Trademark Office)近期授予了苹果公司一项泰坦项目专利:光场平视显示器(light-field head up display),可在挡风玻璃上向驾驶员投射信息。
苹果在专利中指出,汽车等车辆有时会配备平视显示器,这种显示器能将图像投射到车辆的挡风玻璃上,车辆的驾驶员可以在驾驶过程中查看投影的图像。平视显示器通常用于显示车辆状态信息,如速度表信息。平视显示器允许为驾驶员安全地显示信息,而不需要驾驶员从前面的道路上移开目光。
为了更大限度地发挥平视显示器在车辆环境中的作用,最好是能够加强这种显示器为车内人员显示信息的能力。平视显示器可以是一个光场显示器,它产生的光场输出允许观看者观察平视显示器上的三维内容。光场显示单元的阵列和相应的透镜可用于将光场输出导向观看者。透镜可以将显示单元的重叠光场输出引向观看者,从而在车窗上形成一个放大的无缝光场观看区。
图源 | patentlyapple
苹果公司的专利图1是具有平视显示器的说明性车辆的侧视图;图2是具有平视显示器的说明性车辆或其他系统的示意图;图3是车辆中的说明性平视显示器的侧视图。
光场AR:理想中的“真AR HUD”
近年来,高级驾驶辅助技术(简称ADAS)和增强现实(简称AR)交互技术的发展,让国内外一些头部主机厂考虑开发虚拟和现实融合的AR HUD产品,进一步推动了HUD技术革新。由此,衍生出HUD第三代产品AR HUD(Augmented Reality Head Up Display)增强现实型抬头显示。
但虚拟和现实融合的AR HUD技术实现难度远大于WHUD,不但需要开发多传感器的融合算法,还需要空间融合算法和极致的系统延时控制,以及真正有空间纵深距离的3D光场显示(类似3D全息显示)技术。
理想中的光场AR显示技术,可以在驾驶者视野前方的现实世界中,连续投射出适应不同远近对焦距离的三维虚拟信息,从而将虚拟世界的信息和现实世界的相关物体在同一空间位置进行展示,实现虚拟与现实的完美融合,不仅能够呈现真正意义上的AR增强现实显示效果,还可以彻底解决视觉辐辏造成的眩晕问题。也就是说,只有这种AR虚拟成像和道路实景完美融合的“真AR HUD”,才能在不影响驾驶安全的前提下为用户创造更多价值。
光场AR HUD效果演示
3D动画:现实里的“假AR HUD”
业内普遍认为2021年是AR HUD的元年,尽管奔驰(S级,含迈巴赫)、大众、奥迪等众多国内外主机厂也陆续推出了带有AR HUD功能的量产车型,但因供应商的技术限制,基本都放弃了最初虚拟和实景完美融合的“真AR HUD”技术构想。
现在市场中的AR HUD产品,在功能和效果上都退而求其次,采用了基于普通WHUD硬件基础上进行开发、再叠加2D或3D UI动画的形式,把画面投射到视线前方7到10米左右(个别车型4.5米或10+米),根据车辆的位置,实时播放导航、ADAS等动画和UI图标。
具体来说,过场动画的表现形式又稍有不同:(1)奔驰的过场动画,采用了稍复杂的3D透视效果更好的实时渲染,有简单的低频光学防抖;(2)而国内的HUD产业刚刚起步,受技术、成本和认知的局限,虽然很快地对国际上的“假AR HUD”的硬件参数进行了简单复制,但采用了更加简陋的过场动画,没有光学防抖。
这种“假AR HUD”最终交互体验的表现形式,就是飘在驾驶员视线前方的各种UI动画,一定程度上会对驾驶产生干扰,背离了HUD产品诞生的初衷。
光场AR显示为什么难实现?
维基百科对AR的定义包括三个要素:(1)确保真实和虚拟物体形状位置等关键要素被精确地感知和呈现,从而达到(2)真实和虚拟世界的完美融合,以及(3)实时交互的效果。车载AR光学显示系统相对AR头显更加复杂,眼盒大几万倍,且光路中的自由曲面挡风玻璃会严重影响显示质量(像差、动/静态畸变等),需要对近处几米到远处几千米远的物体进行精确地感知和呈现,并实时融合。
(1)空间坐标融合:如果AR HUD投射在几米远的固定距离,就无法达到空间上的融合,不仅使体验大打折扣,而且光学距离差距太大,如果虚拟和现实物体强行融合,驾驶员会在很短的时间内产生视觉辐辏冲突,出现头晕恶心等症状,影响驾驶安全。
(2)时间坐标融合:需要做到毫秒级的延时控制,比自动驾驶技术传感器融合和决策算法延时要求高一到两个数量级。
因此,车载AR不仅需要多传感器融合算法来精确感知真实世界,还需要3D光场显示技术精确呈现光场级的虚拟世界,同时结合空间多坐标系融合算法,才能达到完美的空间坐标系融合。此外,还需与“0延迟”融合算法体系结合,才能实现时间坐标的完美融合,完成实时交互。很显然,这种精确、实时的呈现与交互,是完全没有任何融合、过场动画级的假AR无法比拟的。
FUTURUS独家光场AR HUD系统
事实上,苹果这一专利所透露的理念与未来(北京)黑科技有限公司(简称:FUTURUS)多年前的技术布局不谋而合。
FUTURUS作为几大国际头部车厂的新技术合作供应商,通过提前多年的技术布局,坚持自研路线及专利布局,进行虚拟和实景融合的“真AR HUD”产品研发,并开发出了基于3D光场的“真AR HUD”光学系统。
FUTURUS独家光场AR HUD系统通过光学技术及整套算法体系,而非假UI或者过场动画模拟的方式,实现了HUD画面虚像从4米到无穷远的连续变焦,可以真正实现光学级别的虚拟和实景道路的完美融合。同时,还解决了业内多传感器实时融合、多空间坐标系融合、“0延迟”时间坐标系融合等诸多难题,实现了从感知到显示的零延时响应,让虚拟的驾驶辅助信息与真实物理环境可实时融合。而为了控制成本,同时提升可靠性和用户体验,实现这一切复杂数据采集的传感器和计算的软硬件系统,均基于车身自有传感器和处理器,不仅更加精确、快速,也极大地降低了主机厂的额外成本。
目前,FUTURUS已经成功完成了3D光场AR HUD实车硬件的三代迭代,改装实车已经实际路测优化了3年之久,系统、算法和软件迭代了上百个版本,能够很好地匹配L2、L3、L4级别辅助驾驶要求。
基于增强现实的智能汽车终局来临
在2021年6月10-12日举办的中国汽车蓝皮书论坛上,FUTURUS创始人、CEO徐俊峰先生就曾表示,基于增强现实技术的数字孪生互联网将是智能汽车的发展终局。
徐俊峰在2021中国汽车蓝皮书论坛作分享
随着AR眼镜在2022年的普及,预计在2022-2025年,基于增强现实和数字孪生的互联网会迅速普及。苹果、微软、Meta(前身是Facebook)、谷歌、腾讯、字节等互联网巨头都在加速布局增强现实和数字孪生互联网,其他互联网企业也会加速转型和融入。即将在2025年左右问世的苹果汽车,会直接接入增强现实和数字孪生互联网,从而引领汽车越过移动互联网直接进入数字孪生互联网时代。
可以预见,智能汽车这个未来生活“第三空间”将不再局限于车内这个物理空间本身,在自动驾驶技术日渐成熟的情境下,依托于光场AR HUD技术,智能汽车能实现人、车、环境的互联互通,这一车载AR元宇宙蕴藏着极大的想象和发展空间。
结语
围绕即将爆发的巨大商业价值,FUTURUS也已做好了全面的产品与技术布局准备。FUTURUS在车载增强现实和数字孪生技术领域拥有多年先发优势,目前拥有最成熟、领先的产品和技术,且专利布局完整。FUTURUS也将会全力支持传统汽车主机厂以及汽车市场的新进入者们开发和生产全景光场AR HUD,以便他们顺利实现新一代数字化转型,在即将全面到来的数字孪生互联网时代抢占先机。
