背景:在播放在线视频的时候声音播放不正常,通过生成pipeline dot文件分析,看到audio部分是aac raw格式,所以初步思路是dump es流后,分析gstreamer pipeline播放,然后发现问题。(dump数据后,pipeline都是在ubuntu上运行的)

首先需要dump数据,dump GstBuffer到文件:

GstMapInfo map;
std::ofstream outfile;
gst_buffer_map (buffer.get(), &map, GST_MAP_READ);

outfile.open("/data/audio.data", std::ios::out|std::ios::binary|std::ios::app);
outfile.write((const char*)map.data, map.size);
outfile.close();

gst_buffer_unmap(buffer.get(), &map);

对dump数据播放,刚开始尝试播放,使用caps"audio/mpeg,rate=44100,channels=2",一开始尝试的时候没有加qtdemux,audio.data是直接从http source里面dump出来的数据,所以以为是裸数据:

gst-launch-1.0 filesrc location=/home/hui/disk4t/media-test/media-files/debug/audio.data \"audio/mpeg,rate=44100,channels=2" ! aacparse! avdec_aac_fixed ! audioconvert ! audioresample ! pulsesink

实际上mediainfo可以看到,是mp4类型的数据包,所以加上qtdemux就可以解析:

gst-launch-1.0 filesrc location=/home/hui/disk4t/media-test/media-files/debug/audio.data \
! qtdemux ! aacparse! avdec_aac_fixed ! audioconvert ! audioresample ! pulsesink

增加adts的caps audio/mpeg,stream-format=adts后播放正常:

gst-launch-1.0 filesrc location=/home/hui/disk4t/media-test/media-files/debug/audio.data \
! qtdemux  ! aacparse ! audio/mpeg,stream-format=adts ! avdec_aac_fixed ! audioconvert ! audioresample ! pulsesink

所以问题定位:avdec_aac_fixed对aac raw格式的处理不好,通过增加adts caps就可以解决问题。

使用playsink代替pulsesink也是可以的:

gst-launch-1.0 filesrc location=audio.data \
! qtdemux ! "audio/mpeg,rate=44100,channels=2" \
! aacparse ! audio/mpeg,stream-format=adts ! avdec_aac ! playsink

参考知识:多种音频的格式以及其解码流程

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐