背景

使用webrtc进行语音通话,网络正常的情况下,延迟比较大。

进行过如下分析:

(1)从socket收包到webrtc处理完音频没有耗时长的操作,排除了webrtc处理音频引入的延迟

(2)与其他终端进行通话无延迟

通过以上的分析,最终确认跟设备有关。分析发现Android设备存在重采用的问题。

重采样的原因

音频系统中可能存在多个音轨,而每个音轨的原始采样率可能是不一致的。比如在播放音乐的过程中,来了一个提示音,就需要把音乐和提示音都混合到codec输出,音乐的原始采样率和提示音的原始采样率可能是不一致的。问题来了,如果codec的采样率设置为音乐的原始采样率的话,那么提示音就会失真。因此最简单见效的解决方法是:codec的采样率固定一个值(44.1KHz/48KHz),所有音轨都重采样到这个采样率,然后才送到codec,保证所有音轨听起来都不失真。

但是这样也引入了一个问题:缓冲区大小越高,音频越稳定,但延迟越高,缓冲区设置得太小可能会导致CPU过载,因为它必须更加努力地在相同的时间内提供更多的缓冲区,这将导致播放期间出现毛刺。

解决办法

修改audio_hw.h

将#define SHORT_PERIOD_SIZE (1360*2)修改成

#define SHORT_PERIOD_SIZE (256*2)

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐