许可优化
许可优化
产品
产品
解决方案
解决方案
服务支持
服务支持
关于
关于
软件库
当前位置:服务支持 >  软件文章 >  从音频慢放引发的原理思考,以Unity为例分析

从音频慢放引发的原理思考,以Unity为例分析

阅读数 9
点赞 0
article_banner


起

   在我之前实现时缓效果时,一直是“降调不降速”——因为我的时间速率为0.25,之前试过直接设置audio source的pitch,值为0.25时非常奇怪,而且音量几乎消失了;所有后来改成了修改audio mixer中pitch shifter中的"pitch",达成了一个暂时可以接受的效果。之前我也一直没有深究pitch shifter中的"pitch"和audio mixer的pitch有什么区别,和为什么分别会有不同的效果;现在需要改成一个更符合时缓特征的慢速效果——

   于是不得不从原理上好好琢磨以下,特别是关于音量,音调,还有被AI忽悠的所谓“能量守恒”。

承一:明晰音量概念

   初高中物理说,“音量只跟振幅有关,跟频率无关”。问题是这句话有非常大的模糊点。我们之所以能听到某个声音,是因为它一直在振动,如果它静止,即使处在振幅高点,也根本不会有音量;但另一方面,我们显然听过音量非常高的低音音乐,音量能够高于普通的高音音乐,所以说跟频率无关也是对的。

   究其本质,“一个”音之所以被我们听到,是空气振动的一个脉冲在我们的鼓膜上形成了一个压力脉冲,进而进入大脑成为脉冲信号。那音量是什么,振动位移量?速度?那不是频率了吗?另外,如果现在有一个理想不间断的“空气冲击波发生源”一直在向外产生空气压力,我们的鼓膜虽然没有产生振动,但是长时间处于被压力弯曲的状态,这时候到底算有无音量?

   

   在这种情况下,一个更好的理解模型是丢弃鼓膜振动,脑电脉冲概念,而是把耳朵抽象成一个“理想电子压力计”,只要外部有压力,那就认为有音量。这样,音量就和振动的概念分离开来,与时间分离开来,“音量只与振幅有关”这句话也能成立了——即使振动位置x处于静止,但x!=0表明鼓膜仍然处于压力状态,可以被视作有音量。

承二:慢放,降调,变速,二倍失真定理

   以x-t图像为例,慢放2倍,很容易看出慢放会导致频率为原来的0.5倍,而播放时长为原来的2倍。

   然而数码播放的采样率是有限的,假设前后采样率一致,在一些情况下,很容易看出慢放的振幅(音量)高点被忽略了:

   当情况更极端,有“奈奎斯特采样定理”,我称之为“二倍失真定理”(理想低通信道的最高大码元传输速率B=2W,信息传输速率C=B*log2N )。

   所以AudioMixer的PitchShifter中的pitch会装模做样地把“pitch”限制为0.5到1,实际并不是真实pitch,它只是把原pitch左右移动了一个非常小的系数,所以我原来的效果听起来几乎就没有慢速,但是达成了低频的效果(但这个低频效果还需要其他技术才能实现得这么明显)。

承三:另一个音量减小原因——人耳感知

   上面已经阐述,由于我以前0.25的慢放实在是太慢,导致采样失真,会丢失许多音量。(武士零中,控制音效pitch最小为0.5,即使时缓比如为0.3)。另一方面,人耳对不同频率(Hz)的感知音量不一致,低频会感觉音量更小,所以需要根据频率做音量增大。(一些音乐播放器的“个人耳纹调校”功能也就是这个)

 

转一:AI骗我“能量守恒”

   当我一开始询问AI为什么慢放会导致音量变小时,AI说“由于能量守恒,慢放播放时间变长,那么相同时间内音量就小”。貌似有理,一派胡言。之前我们已经明晰过【音量】这个概念,只是振幅位置而非移动距离,所以我们体感音量是一个积分过程。好比一个举重运动员举重1s和举重1000s,我们的总体感知量肯定是后者大。

转二:“降调不降速”

   音频变速不变调这里就不说了,网上有很多。而完美的“降调不降速”是不可能的,只是因为PitchShifter中的“pitch”对真实的pitch(audioSource.pitch)改变得很少,而且通过FFT转频域控制和适当修改相位和其他技巧,能够在不改播放时长太多的情况下,实现更显著的降调。

合:

   音频慢放似乎简单,但是要做舒服也需要一些调整。除了技术之外,最重要的是从审美上控制整个缩放范围的表达,就像图片一样,原大小图片和同相框的缩放后图片完全不是一个东西。

   就unity来说,想要“变调不变速“,只使用mixer的pitchShifter的shift;想要做正常的慢放效果,改变AudioSource.pitch,最好控制其在0.5以上。而且不管哪种,都最好做音量补偿。(本文没有讨论”变速不变调“,在Unity中,应该需要额外算法或插件)


免责声明:本文系网络转载或改编,未找到原创作者,版权归原作者所有。如涉及版权,请联系删

相关文章
技术文档
QR Code
微信扫一扫,欢迎咨询~
customer

online

联系我们
武汉格发信息技术有限公司
湖北省武汉市经开区科技园西路6号103孵化器
电话:155-2731-8020 座机:027-59821821
邮件:tanzw@gofarlic.com
Copyright © 2023 Gofarsoft Co.,Ltd. 保留所有权利
遇到许可问题?该如何解决!?
评估许可证实际采购量? 
不清楚软件许可证使用数据? 
收到软件厂商律师函!?  
想要少购买点许可证,节省费用? 
收到软件厂商侵权通告!?  
有正版license,但许可证不够用,需要新购? 
联系方式 board-phone 155-2731-8020
close1
预留信息,一起解决您的问题
* 姓名:
* 手机:

* 公司名称:

姓名不为空

姓名不为空

姓名不为空
手机不正确

手机不正确

手机不正确
公司不为空

公司不为空

公司不为空