【干货】开发者必须了解的VR音频定位技术‘obo体育官网’

发布日期:2024-08-20 04:27浏览次数:

本文摘要:要想要在VR中取得更佳的沉浸于感觉,五感的还原成极其重要,视觉还原成是其中尤为成熟期的一部分,而音频——全景声,随着技术的发展,也渐渐在VR内容中应用于一起。

要想要在VR中取得更佳的沉浸于感觉,五感的还原成极其重要,视觉还原成是其中尤为成熟期的一部分,而音频——全景声,随着技术的发展,也渐渐在VR内容中应用于一起。纵观全球声音定位技术,主要可以分3种:声道为本(ChannelBased)、面向对象声音(ObjectBased)及场景声音(SceneBased)。有一点注意的是,各种技术都可以分成录音、播出系统和输入格式三个部分。

以下的内容主要基于输入格式,但也不会额托各种录音、播出系统的利弊。三大定位方式1.声道为本(ChannelBased)传统声音定位技术都是以声道为本(ChannelBased)的技术,意思是指所有输入是根据系统的声道数目来制作。例如单声道的音乐就有2个声道,5.1环绕声的电影就有6个声道。

但这种技术只不过即使在环绕声中都不理想。原因是有所不同的系统设计或放置将不会影响到定位效果,而且无法在有所不同系统中切换,例如5.1环绕声的电影就不需要精确地在7.1系统中播出。因此很少在3D声效上应用于。

当然,严格来说,所有播出系统在输入最后都是声道为本,只不过输入前的文件格式和制作方法不会有分别。虽然声道为本的技术在3D声效不少见,但基于声道为本的录音技术的历史悠久历史,发展完备,因此即使用于其他技术,很多时都会借出声道为本的录音技术制作,例如在接下来讲解的面向对象声音(ObjectBased)技术就经常会用上传统单声道及双声道录音技术。

2.面向对象声音(ObjectBased)近年为了提高有所不同播出系统的问题,研究人员开始思维如何用一个输入格式去适应环境所有系统。其中较风行的方法是用面向对象声音(ObjectBased),坚信很多人都在部份戏院或电影的片尾中看到杜比全景声(DolbyAtmos)的标志,这是其中一种较常用的面向对象格式。

面向对象是指声音定位以声源(所谓对象)为本,输入并不基于声道数目,而是基于声源数目。非常简单而言,每一个「对象」不会输入两样信息,它的声音,和它在3D空间中的方位。在播出时,播放器不会根据对象信息,以及影音系统的原作去分配各声道的输入,从而精确定位。

因此这技术除了可以用同一输入档案做横跨系统播出,亦可以作出打破水平面的3D定位。少见的对应输入系统为VBAP(VectorBaseAmplitudePanning),基本上是传统5.1或7.1环绕声再加有所不同高度的喇叭(有关各种输入系统之后不会再行讲解),但亦可以在传统5.1或7.1环绕声系统,甚至双声道系统播出。

优点:声音定位一般较凖确实,而声音质素亦一般来说较为好缺点:输入档案的体积大。声音来源集中于,缺乏现场感场景声音(SceneBased)除了以声源为本,另一种少见的方法是以场景为本。场景为本的意思是指,我们尝试记录在空间中一个点上接管到的所有声音。

你可以想象出是记录一个人在某场景中所听见的所有声音。唯一的分别是,人类的听力有方向性,例如来之前的声音不会比来自后面的声音明晰,当声音来自左边左耳不会感受到的音量不会较为大等。

但场景为本的录音一般来说会纪录方向性的分别,无论声音从那方面以来,都会明晰地记录在录音中。其中最少见的录音方法为Ambisonics(该名词仍未标准化的翻译成)。它用几组收音来全方位地记录场景声音。

之所以要用几组收音,是为了把场景中的声音分成几个轴,最少见是分成左右(X)、前后(Y)和上下(Z)便利在后期制作中定位和增添指向性(要用3个轴的Ambisonics称作1stOrderAmbisonics,可根据球谐函数(SphericalHarmonics)去增添更加多轴,提升到更高Order,从而提高声音定位解像度,一般制作用最低可以到5thorder,但XYZ三轴是较少见也较为更容易解读,有机会再行拥立文章介绍AmbisonicsOrders)。大家可以想象,在播出该录音时,如果没分左右前后上下的话,声音显然不有可能定位。

该技术仅次于的优势,是在于档案体积,它最多只必须四条声轨,X、Y、Z和W(W是一条无指向性全方位录音—OmniDirectionalRecording),就可以再现3D声效,比5.1环绕声还较少,因此此制式在360影片及VR中很少见。而且因为他的录音是全方位的,他可以确切记录所有在空间中漫射的声音(Diffusesound),也就是说,它可以记录来自四方八面的回响(Reverb),例如在教堂中说出,有时候不会听见回音,那些回音有时不会从四方八面传到,用Ambisonics就需要精确地记录那些回音。

Ambisonics有自己对应的播出系统,其特色是所有喇叭的间距必需完全一致,平均值地产于在一个虚拟世界球面。之所以要这样决定,是因为在播出时,即使声音内原只有一方,理论上所有喇叭都会播出比较不应的场景声音。概念上一般读者有可能较难解读,但总结而言,在播出任何声音时所有喇叭都会运作,来再现录音场景的音场。

当然这播出系统在民用上是很不现实的,因为理想的播出系统必须很多喇叭,而且放置方位拒绝十分精准,有时甚至要铁环穿着地下来摆放喇叭。因此,一般来说都会用耳筒来再现虚拟世界的Ambisonics播出系统(称作BinauralAudio技术),亦有不少软件可以将Ambisonics转换成其他系统格式还包括环绕声和单声道。优点:音质代入感强劲,仿似在场景中。

输入档案一般较细,4条声道起。缺点:录音质素一般来说较为劣,因为录音器和声源之间一般来说有一定距离。

录音过程较简单,和一般来说要利用尤其器材,如Ambisonics。坐落于英国的Ambisonics播出系统Sennheiser出品Ambisonics(1stOrderAmbisonics)Eigenmike?Ambisonics(4thOrderAmbisonics)较为各种声音定位技术之好坏各种技术的应用于情况声道为本如前文所言,传统声道为本的格式在3D声效中的应用于较为少见。

主要是因为他无法相容有所不同的播出系统。当然目前有很多没配有3D声效的电影,都之后延用声道为本的技术。

大部份的音乐所用于的双声道,均可归类为此技术。面向对象声音目前大部份的电影3D声效多用于面向对象声音。原因是后期制作较为便利,而且获得很多专业公司的反对,例如Dolby、Auro、ProTools等,值得一提者是杜比全景声(DolbyAtmos)系统。在这里要再行介绍一下一般来说电影声效制作的流程。

一般电影的声效是混合现场录音和后期制作。一般而言,现场录音只不会记录演员的台词,其他所有声音都是后期制作。坚信读者可以猜中到,为何面向对象声音较为合适电影制作,是因为所有后期制作的声音甚至演员的台词都可以视作一个对象,并在后期制作中定位。很多电影并无牵涉到任何场景录音的必须。

更何况现在很多电影都用上大量场景特效(绿幕),并非现场摄制,显然没确实的场景声音可以录音。DolbyAtmos混音插件另一方面,主流VR游戏甚至一些新的非VR电子游戏都用于面向对象声音制作,但一般来说不会输入成场景声音,主要是因为面向对象声音技术较为能对应六维度(6DegreesofFreedom(6DoF))的移动,意思是指玩家可以前后左右移动,声音不会根据玩家的方位做出对应的调整。

场景声音只不过目前场景声音的制作并不少见,但坚信360影片的风行,这技术迅速不会显得普及。这技术其中一个益处是,一般人只要利用Ambisonics咪录音,不必须过于多后期制作,都可以有理想的3D声效,而且该声效可以根据观众观赏影片的角度做出对应的调整,(录:只限角度,继续不还包括前后左右移动)。例如你在看影片时可以听见声音从后方来,而当你180度改向后方后,你不会听见该声音追随改向移至你的前方。加载场景声音亦不必须很简单的系统。

这技术对系统的拒绝较低,档案容量粗,都是在未来普及的潜在优势,尤其在Youtube和Facebook之类的网上串流平台都以这技术为基础。目前较为平民的器材有RicohthetaV的外置收音器。当然目前用此技术仅次于的问题是,因为收音的距离和缺乏指向性,收音的质素较为劣,继续提高的方法主要不会因应面向对象声音用于,所谓的混合方法。RicohthetaV连外置收音混合方法(AHybridMethod)在录音质素的拒绝较为低的情况下,例如音乐会现场录音,或其他音乐涉及的制作等,依靠面向对象声音或场景声音,都无法符合音质拒绝。

面向对象声音缺乏现场感,而场景声音的录音又过于明晰。人类一般对录音的拒绝,一般来说比现场的声音低,研究员戏称超强真实感声音(Hyper-RealisticSound)。

要超过这个拒绝,目前最先进设备的作法是用场景声音作为背景(或称作画纸(Canvas)),在该录音为基础再行在上面再加面向对象声音。这样就可以保证声音明晰同时保留现场感。目前DolbyAtmos早已反对场景声音,去提高后制的声音效果,可见未来可以用在音乐会或戏剧的现场录音中。而在360影片,一般动态用于混合方法,输入时都会用场景声音Ambisonics的文件格式来输入来保持档案的轻盈和更容易理解。

当然DolbyAtmos用较简单的混合档案,因应该系统,理论上可获取较好的音质。但在360影片或VR中,因为输入在有所不同角度下的展现出较为平均值(所有喇叭的间距完全一致,平均值地产于在虚拟世界球面),场景声音输入一般是选用。

额外科学知识:MPEG-HMPEG-H是MPEG系列(如.mp4)的新一代高压缩的影音格式,重新加入了3D声效承托,他同时反对面向对象声和场景声音。这个格式早已发展了一段时间(2013),虽然目前未风行,但坚信未来不会沦为的主流格式。小结目前最少见的3D声效应技术为面向对象声音(ObjectBased)及场景声音(SceneBased)且有时不会混合用于。

只不过这些技术的应用于早已日益普及,很多新出的第一身游戏某种程度都会中用3D声效去减少现场感。尤其在射击游戏,需要用耳朵去感觉四面八方能大大提高游戏体验。

而在360影片或VR甚至其他XR(总称VR、AR、MR等虚拟现实的体验为XR)的潮流下,很多公司还包括AbbeyRoadStudio和BBC都投入很多资源去提高3D声效制作及播出技术。


本文关键词:obo体育官网

本文来源:obo体育官网-www.pczsqjy.com

如果您有什么问题,欢迎咨询技术员 点击QQ咨询