苹果杜比全景声是什么(杜比全景声与空间音频在苹果生态下的四类应用)

2020年WWDC上,通过iOS14操作系统发布,苹果宣布在AirPods Pro下提供空间音频Spatial Audio的支持,一年后WWDC 2021,苹果宣布Apple Music可提供支持Dolby Atoms杜比全景声的音乐内容。业界认为,在杜比公司的Dolby Atoms技术问世近十年后,苹果的姗姗来迟反而是打通了两声道杜比全景声体验的最为重要的内容一环。但实际情况如何?我们今天一文先通过在苹果iPhone、iPad和Apple TV下杜比全景声和苹果空间音频不同体验来聊一聊现在两声道虚拟环境声的体验。

在开始全文之前要明确苹果公司对空间音频技术体验的定义:一种剧场般体验的心理声学技术[Theatre-like experience, Pyschoacoustic technology]。

一、通过Apple Music的Dolby Atoms音乐

2021年6月苹果宣布Apple Music支持无损与高清无损,同时推出了支持杜比全景声Dolby Atoms效果的音乐内容,并且半年来保持着更新。在音乐内容中,杜比全景声效果并不仅针对苹果公司的耳机产品,任何耳机,包括有线耳机都可以支持该效果。只不过,在系统默认下杜比全景声播放设置为“自动”,可识别AirPods耳机后自动开启,而第三方耳机产品可使用强制“始终开启”来实现。

苹果杜比全景声是什么(杜比全景声与空间音频在苹果生态下的四类应用)(1)

苹果 Apple Music 杜比全景声播放界面

如图所示,我们在iPhone、iPad、Apple TV连接AirPods耳机后,可以在app状态中看到“杜比全景声”字样,就说明真正打开此效果了。而第三方耳机没有任何UI上提示,但其实效果确实也是起效了。

关于效果:大家评价褒贬不一,但肯定谈达不到“大多好评”。但值得一提的是,这个渲染器可以将原本两声道内容加入空间信息,也可以将原本本身就是多声道内容加上空间信息。另外考虑到,两声道虚拟环境声所谓的心理声学,其实是需要人类大脑的一些想象力和关联能力。所以,目前场景固定易于大脑产生反应的古典音乐效果更好,同时,杜比公司本身拥有不少的多声道录音古典音乐资源,也让一些古典音乐的杜比全景声表现相当不错。

实现方式:杜比全景声在音乐中的应用的提交并不困难,可以通过苹果自家的Logic Pro中的Renderer for Dolby Atoms插件来制作完成。而非苹果平台也可通过Renderer for Dolby Atoms的VST插件在音频编辑软件上完成。只要制作足够精心[比如非常丰富的录音轨道都可以单独指定空间信息,3D图形化操作等等比较方便],会有一定的效果。

这套内容的本质,与Android、Windows几年前就提供的杜比全景声方案几乎没有差别,它在内容生成时已经通过杜比公司的渲染器做好了源内容对空间信息录入,所以对输出设备并不挑剔。不仅耳机可以听出效果,立体声喇叭也可以听出效果。

二、通过苹果官方《TV》app

这个app的服务目前在国内无法使用,我们以美服内容为例。杜比公司与大量在线视频流媒体内容合作,目前支持杜比全景声的内容已经非常可观。要确认自己是否在Dolby Atoms信号下,如图要参考AirPods Pro等耳机连接下的相关字样为“杜比全景声”,如果信号带宽不允许,此处有可能会跳为“立体声”。

苹果杜比全景声是什么(杜比全景声与空间音频在苹果生态下的四类应用)(2)

苹果 Apple官方《TV》app 播放杜比全景声电影界面

内容版权保护,所以底面是纯黑……

关于效果:如果你真的体验过在Apple TV连接电视机后[当然,iPad也可以],使用AirPods Pro来听杜比全景声的效果,只能用非常震撼来形容。此时耳机的低频动态,声音风格都发生了非常明显的变化,声音的平均响度也比普通立体声下有了不小的提升。虽然不敢说后方环绕声有多么逼真,但前方结像的位置已经可以精确的放在身前两三米电视机的位置,而且动态表现远远超出AirPods Pro在普通立体声模式下的水平。顶部空间与后侧空间环境声效果,超越电视机音响问题不大。

实现方式:在播放在线流媒体视频内容中的杜比全景声音轨时,它的工作方式已经和我们第一条谈到的音乐内容中的全景声大不相同。苹果技术课程中明确提到,在杜比全景声内容时,向蓝牙耳机传输的是超出立体声AAC信号的多声道信号,所以此处也需要AirPods Pro、AirPods3、AirPods Max等特别的耳机才可以支持,播放的机型也有一定的限制。值得一提的是,即便在多声道模式下,苹果仍然可以支持2条AirPods耳机的音频共享。这套多声道传输技术似乎是在2021年的iOS15/TVOS 15上才加入的。

补充一点,如果没有官方《TV》下的电影,也可以去看看苹果的各厂发布会内容,它的空间音频效果也是绝对的典范级,定位效果不比电影差。

三、通过支持多声道的第三方app,如《Infuse》

苹果杜比全景声是什么(杜比全景声与空间音频在苹果生态下的四类应用)(3)

《Infuse》app在iPad下播放杜比全景声或多声道电影音轨下界面

关于第三方app如何支持杜比全景声,iOS15上也提供了方便实现方法,只需要标记为标准的多声道内容,就可以被识别。遗憾的是,我们国内的优酷、爱奇艺、腾讯等app,即便在特别会员下,杜比剧场等类似内容的音轨也是通过上文所说第一种方式事先合成的,所以无法实现第二条谈到的实现方式。

苹果杜比全景声是什么(杜比全景声与空间音频在苹果生态下的四类应用)(4)

《腾讯视频》app在iPad下播放界面截图-仅为立体声状态

苹果杜比全景声是什么(杜比全景声与空间音频在苹果生态下的四类应用)(5)

《优酷》app在iPad下播放界面截图-仅为立体声状态[帧选剧场]

而我们找到了原本在Apple TV上最常用第三方视频播放app《Infuse》在最新版本下提供了多声道音频向AirPods Pro等耳机传输的功能。如图所示,我们看到这里显示的不是“杜比全景声”而是“多声道”。这点应该是杜比公司和苹果公司的限制,关于细节本文不再展开。

关于效果:像《Infuse》这样,可以将杜比全景声甚至DTS、AC3等传统多声道内容,输出给耳机以“空间音频”方式来播放的第三方app,效果同样不错,在声音整体动态方面仍然明显优于耳机立体声模式。低频的量感、风格也和普通立体声音乐模式下差别很大。但是,在结像准确性,空间感,低频的动态等方面要落后于流媒体内置的杜比全景声音轨还原,即不如上文的第二种方式。

苹果杜比全景声是什么(杜比全景声与空间音频在苹果生态下的四类应用)(6)

《Infuse》app在iPad下连接第三方耳机播放杜比全景声音轨界面

实际听感没有空间音频

实现方式:关于第三方应用实现,准确的说应该称之为多声道渲染下的空间音频,如果视频内容有5.1以上规格音轨,第三方应用可以方便的导入该音轨,空间音频可以自动识别,并且完成渲染和传输。它的传输方式与第二条谈到的一样,与第一条音乐的全景声不同,所以,仍然需要苹果特定耳机支持,播放设备也有一定限制。

四、游戏和app的支持

在iOS15这一代操作系统中,苹果的空间音频最大的扩展来自于PHASE音频架构。它从音频架构底层进行了重建,将音频事件渲染与3D图形渲染处于同一级别,将几何信息、事件触发信息等图形渲染与音频同步,真正的将物理信息对声音的影响加入到了环境声之中。

试想,身处一个小河旁山脚下的第一视角主人公,原本周边的声音需要通过预设多个点,通过渲染路径运动路径触发实现。环境音,通过多个点声源来配合完成。而在PHASE下,所有环境声为体积音源,环境中可以加入不同影响声音的物体,物体形状、材质等声学物理特性可以被定义;人物移动如踩到泥、踩到砂子等物理特性同样被声学物理特性以及事件渲染相关。

这套设计主要针对未来的app应用和游戏应用等,我们目前没有找到明确了使用该技术的游戏。没有具体体验。关于这方面技术,我们并不专业,也许描述的不够精确,敬请谅解。

最后,对比Android与Windows

2012年,杜比公司便发布了Dolby Atoms技术,关于技术的描述一直以来都神神秘秘,说法大概就是在音频信息中加入了空间信息,在家庭应用中我们可以看到7.1.2、7.1.4等配置,顶部声道加入可能是以往大家关注的亮点。而顶部声道的录制,现在也成为了目前行业最主要规范之一[比如奥运会转播等]。

但Atoms的核心在于将内容源编码加入空间信息,无论是家庭的7.1.4还是电影院的64个通道,甚至传统立体声小喇叭如手机,或耳机。它都由特殊的编码来定义空间信息,然后再做分配。

为了推广Atoms,其实早在五六年前,杜比就在Windows下推出了atoms for Headphones的应用,它不但可以支持立体声的虚拟化环境声,还可以支持传统杜比多声道到耳机两声道的渲染。但由于杜比音轨和Windows下视频源内容生态较为复杂,愿意体验的人可能不多,其实今天,我们通过第三方播放器调用,经过一通设置也是可以感受到该应用的效果。

同时,杜比公司还早就在Android手机上推出杜比全景声认证的外放,这种效果的实现方式与我们谈到的第一种方式类似,就是将内容通过杜比的渲染器渲染后,两声道输出。这种配合的方式,除了一些Demo效果不错外,显然不可能做到各种各样视频内容都有好的表现。

苹果杜比全景声是什么(杜比全景声与空间音频在苹果生态下的四类应用)(7)

《Bilibili》app在iPad下播放带有杜比全景声标志内容截图-仅输出立体声

该标志只说明视频内音轨为杜比渲染器标准的ADM音轨

这里我们要提一句Bilibili的大会员下杜比全景声支持,通过MP4封装真正的来自Renderer for Dolby atoms渲染器得到的ADM音轨,就可以点亮全景声的标志。但正如我们介绍的,该方法属于第一种预渲染的机制,所以对于AirPods等耳机并无加成。而即便没有ADM音轨,但是原本立体声AAC音轨已经是通过渲染器渲染的,理论上效果并不会有什么差异。这种效果,其实还停留在目前Apple Music、以及安卓杜比全景声的大部分应用的档次。与iOS15下的杜比全景声 空间音频加成没有关系。所以,我们会发现很多在B站没有点亮大会员杜比Atoms LOGO的视频,其实也是有效果的。

总结

通过今天的文章,主要想表达有几个方面内容。

第一,杜比全景声音乐是传统的渲染和传输方式,它的效果好坏与渲染前本身是否为多声道,以及制作中是否特别精心相关,这种方式不挑回放耳机。理论上它与Android、Windows下的杜比全景声没差别,只不过苹果现有内容可能更为精良。

第二,苹果空间音频 杜比全景声的组合在于多声道内容到苹果特定耳机的回放,这包括苹果官方《TV》app和游戏等应用可以支持的全景声或多声道空间音频;也可以包括向空间音频输入传统的多声道信号后,连接苹果特定耳机回放的空间音频内容。这种方式下,声音效果极为出众,以AirPods Pro为例,已经远超该耳机在普通模式下表现。可以认为,这才是“空间音频”正确打开方式。

第三,苹果在iOS15系列操作系统下为音频架构加入了“物理引擎”PHASE,对于未来空间音频应用,以及VR AR应用来说,理论上有很高价值。

第四,有没有发现我们全文都没有提原本大家都认为重要的“头部跟踪”?虽然它看似酷炫,也最容易被体验到感受到,但它只在第一步人脑创建预想的心理声学环境时有很好的作用。但空间音频在目前影音应用中效果好坏,与“头部跟踪”并没有因果关系。

,

免责声明:本文仅代表文章作者的个人观点,与本站无关。其原创性、真实性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容文字的真实性、完整性和原创性本站不作任何保证或承诺,请读者仅作参考,并自行核实相关内容。文章投诉邮箱:anhduc.ph@yahoo.com

    分享
    投诉
    首页