【音视频笔记】Mediacodec+Muxer生成mp4，浏览器无法播放问题处理

2023-09-21 10:46:36

文章目录

背景

最近在测试视频录制功能时发现，AudioRecord + MediaCodec + MediaMuxer生成的MP4，PC浏览器无法播放 ，但是Android、Windows、Mac的播放器应用都能正常播放。虽然不禁想吐槽浏览器视频组件的容错性差，但我也意识生成的文件格式肯定也是有问题的。

然后尝试了合成MP4视频时，只保留视频通道，不要音频，发现拖到浏览器中可以正常播放。使用ffprobe检查有问题的MP4文件，有如下错误输出：

[aac @ 0x7f95c9c0e7c0] Input buffer exhausted before END element found

至此，基本确定问题出现在生成的音频数据上。

解决过程

由于此前个人音视频开发经验不足，MediaCodec、MediaMuxer编码和合成视频的相关代码参考了一些开源项目及博客。
但由于开发周期紧急，没有足够的时间来仔细研究和排查，当时就采用了一种曲线救国的方案。

曲线修复方案

能想到这个方案也比较偶然。当时查阅了一些资料和博客，用到了ffmpeg和ffprobe工具对问题视频进行分析。

在尝试了使用ffmpeg工具对问题视频进行转换后，意外地发现，虽然命令也会报错[aac @ 0x7f95c9c0e7c0] Input buffer exhausted before END element found，但是，问题视频经过fmpeg转换后，生成的新视频，用ffprobe命令查看是没有错误输出的，也可以正常播放！也就是说，ffmpeg在处理转换有问题的音频时，会自动跳过那些有问题的数据。

由此，想到了一个比较曲折的方案：先用AudioRecord + MediaCodec + MediaMuxer生成MP4，然后使用ffmpeg命令对生成的视频进行一点无关紧要的转换（重点是让它处理掉有问题的数据），然后就能得到一个格式正确的音频数据，然后用MediaExtractor提取出原MP4中的视频数据，最后用MediaMuxer合成最终格式正确的mp4文件。
因为是音频有问题，所以实践中我就使用了如下命令来转换：

ffmpeg -i input.mp4 -vn -ab 96k out.m4a

-vn参数指定不要视频数据，-ab 96k将音频码率转为96k。

现在，只需要裁剪、交叉编译一个满足以上需求的arm版本的ffmpeg可执行程序就好了。关于如何裁剪和编译ffmpeg，网上音视频相关的技术文章一大把，就不赘述细节了。

这里记录一下我反复测试编译配置参数后，能输出较小体积（约2.6MB）arm版ffmpeg可执行命令的编译脚本，方便以后查看。因为我只需要处理音频，所以这个配置编译出的ffmpeg只能解码MP4和aac，并且只支持输出m4a音频。

#!/bin/sh

# NDK路径，根据电脑环境配置情况调整
NDK_HOME="/Users/shenyong/Library/Android/sdk/ndk/21.4.7075529"
TOOLCHAIN="$NDK_HOME/toolchains/llvm/prebuilt/darwin-x86_64"
SYSROOT="$TOOLCHAIN/sysroot"

# 默认使用arm编译配置
API=29
ARCH=arm
CPU=armv7-a
TOOL_CPU_NAME=armv7a
# CROSS_PREFIX, CC and CXX for arm
CROSS_PREFIX="$TOOLCHAIN/bin/arm-linux-androideabi-"
CC="$TOOLCHAIN/bin/$TOOL_CPU_NAME-linux-androideabi$API-clang"
CXX="$TOOLCHAIN/bin/$TOOL_CPU_NAME-linux-androideabi$API-clang++"
OUTPUT_DIR="./android/$CPU"
OPTIMIZE_CFLAGS="-march=$CPU"

function config_arm64() {
  ARCH=arm64
  CPU=armv8-a
  TOOL_CPU_NAME=aarch64
  # CROSS_PREFIX, CC and CXX for arm64
  CROSS_PREFIX="$TOOLCHAIN/bin/$TOOL_CPU_NAME-linux-android-"
  CC="$TOOLCHAIN/bin/$TOOL_CPU_NAME-linux-android$API-clang"
  CXX="$TOOLCHAIN/bin/$TOOL_CPU_NAME-linux-android$API-clang++"
  OUTPUT_DIR="./android/$CPU"
  OPTIMIZE_CFLAGS="-march=$CPU"

  #libmediandk.so路径
  MEDIA_NDK_LIB=$TOOLCHAIN/sysroot/usr/lib/aarch64-linux-android/$API
  ADD_MEDIA_NDK_SO="--extra-ldflags=-L$MEDIA_NDK_LIB --extra-libs=-lmediandk "
}

# 如果需要编译arm64版本，将以下行取消注释即可
config_arm64

#清除之前的编译配置及输出
make distclean

./configure \
--prefix=$OUTPUT_DIR \
--target-os=android \
--arch=$ARCH \
--cpu=$CPU \
--enable-cross-compile \
--cross-prefix=$CROSS_PREFIX \
--sysroot=$SYSROOT \
--cc=$CC \
--cxx=$CXX \
--extra-cflags="-Os -fpic $OPTIMIZE_CFLAGS " \
--disable-shared \
--enable-static \
--enable-neon \
--disable-asm \
--disable-gpl \
--disable-postproc \
--enable-ffmpeg \
--disable-ffplay \
--disable-ffprobe \
--disable-avdevice \
--disable-doc \
--disable-symver \
--disable-protocols \
--enable-protocol=file \
--disable-network \
--disable-jni \
--disable-mediacodec \
--disable-hwaccels \
--disable-encoders \
--enable-encoder=aac \
--disable-decoders \
--enable-decoder=aac \
--enable-decoder=mpeg4 \
--disable-muxers \
--enable-muxer=ipod \
--disable-demuxers \
--enable-demuxer=aac \
--enable-demuxer=mpegvideo \
--enable-demuxer=mov \
--disable-parsers \
--enable-parser=aac \
--enable-parser=mpeg4video \
--enable-parser=mpegaudio \
--disable-filters \
--disable-bsfs \
--enable-bsf=aac_adtstoasc

make clean
make -j12
make install

解决问题根源

既然自己分析找不到问题根源，就看看别人正常工作的代码有什么不一样吧，于是开始在GitHub上找相似功能的开源库。在运行AudioVideoRecordingSample这个演示库后，发现别人生成的视频和音频，用ffprobe命令检查格式都是正确的。

仔细分析对比后，终于找到了问题点。网上各种博客的示例代码中，都是在dequeueOutputBuffer()返回的输出buffer下标大于0时，就直接写入Muxer，关键部分类似这样：

int outputBufferIndex = mAudioCodec.dequeueOutputBuffer(bufferInfo, 0);
if (outputBufferIndex == MediaCodec.INFO_OUTPUT_FORMAT_CHANGED) {
    // 将mMediaCodec的指定的格式的数据轨道，设置到mMediaMuxer上
    mAudioTrackIndex = mMediaMuxer.addTrack(mAudioCodec.getOutputFormat());
	// ...
} else {
    while (outputBufferIndex >= 0) {
        // 获取数据
        ByteBuffer outBuffer = mAudioCodec.getOutputBuffers()[outputBufferIndex];
        audioPts = (System.nanoTime() - startNanoTime) / 1000;
        bufferInfo.presentationTimeUs = audioPts;
        // 编码数据写入muxer
        mMediaMuxer.writeSampleData(mAudioTrackIndex, outBuffer, bufferInfo);
        // 释放 outBuffer
        mAudioCodec.releaseOutputBuffer(outputBufferIndex, false);

        outputBufferIndex = mAudioCodec.dequeueOutputBuffer(bufferInfo, 0);
    }
}

但是，我发现AudioVideoRecordingSample这个库在获取的outputBufferIndex >= 0时，还有一个关键的处理：

// ...
if ((mBufferInfo.flags & MediaCodec.BUFFER_FLAG_CODEC_CONFIG) != 0) {
    // You shoud set output format to muxer here when you target Android4.3 or less
    // but MediaCodec#getOutputFormat can not call here(because INFO_OUTPUT_FORMAT_CHANGED don't come yet)
    // therefor we should expand and prepare output format from buffer data.
    // This sample is for API>=18(>=Android 4.3), just ignore this flag here
    if (DEBUG) Log.d(TAG, "drain:BUFFER_FLAG_CODEC_CONFIG");
    mBufferInfo.size = 0;
}
if (mBufferInfo.size != 0) {
    // ...
    muxer.writeSampleData(mTrackIndex, encodedData, mBufferInfo);
}
/// ...

就是判断当前的mBufferInfo有BUFFER_FLAG_CODEC_CONFIG这个标志时，把size置为0了，所以这一次回调的数据，是没有写入muxer的。于是赶紧看了一眼BUFFER_FLAG_CODEC_CONFIG的官方文档：

    /**
     * This indicated that the buffer marked as such contains codec
     * initialization / codec specific data instead of media data.
     */
    public static final int BUFFER_FLAG_CODEC_CONFIG = 2;

这才恍然大悟！当BufferInfo有这个标志的时候，buffer包含编解码器初始化或编解码器特定的数据而不是媒体数据！

于是在自己的代码中也上这个判断处理，生成的视频文件再用ffprobe查看，也能正常输出信息，没有报错了。关键代码如下：

while (true) {
    try {
        // 返回有效数据填充的输出缓冲区的索引
        int outputBufferIndex = mAudioCodec.dequeueOutputBuffer(bufferInfo, 0);
        if (outputBufferIndex == MediaCodec.INFO_OUTPUT_FORMAT_CHANGED) {
            // 将mMediaCodec的指定的格式的数据轨道，设置到mMediaMuxer上
            mAudioTrackIndex = mMediaMuxer.addTrack(mAudioCodec.getOutputFormat());
        } else {
            while (outputBufferIndex >= 0) {
                // 获取数据
                ByteBuffer outBuffer = mAudioCodec.getOutputBuffers()[outputBufferIndex];
                // 修改音频的 pts,基准时间戳
                audioPts = (System.nanoTime() - startNanoTime) / 1000;
                bufferInfo.presentationTimeUs = audioPts;
                if ((bufferInfo.flags & MediaCodec.BUFFER_FLAG_CODEC_CONFIG) != 0) {
                    Log.w(TAG, "audio BUFFER_FLAG_CODEC_CONFIG bufferInfo.size: " + bufferInfo.size);
                    // 配置回调，不是有效的媒体数据，不写入。如果写入了，会导致mp4文件有错误数据帧，
                    // 容错性不够好的播放器（比如pc浏览器）可能无法正常播放视频。
                      bufferInfo.size = 0;
                }
                // 写入音频数据
                if (bufferInfo.size > 0) {
                    mMediaMuxer.writeSampleData(mAudioTrackIndex, outBuffer, bufferInfo);
                }
                if ((bufferInfo.flags & MediaCodec.BUFFER_FLAG_END_OF_STREAM) != 0) {
                    Log.w(TAG, "audio BUFFER_FLAG_END_OF_STREAM bufferInfo.size: " + bufferInfo.size);
                }
                // 释放 outBuffer
                mAudioCodec.releaseOutputBuffer(outputBufferIndex, false);
                if ((bufferInfo.flags & MediaCodec.BUFFER_FLAG_END_OF_STREAM) != 0) {
                    Log.w(TAG, "audio got BUFFER_FLAG_END_OF_STREAM flag. audioPts: "
                            + bufferInfo.presentationTimeUs + "bufferInfo.size: " + bufferInfo.size);
                    if (shouldExit) {
                        onDestroy();
                        return;
                    }
                }
                outputBufferIndex = mAudioCodec.dequeueOutputBuffer(bufferInfo, 0);
            }
        }
    } catch (Exception e) {
        e.printStackTrace();
    }
}

这样一来，使用Mediacodec+Muxer就能生成格式正确的mp4视频文件了，无需其他处理，效率大大提高。

从打印日志来看，带这个标志的一般就是第一个输出的buffer，并且数据量很少：

2023-09-21 10:16:36.664 BaseVid...corder  W  audio BUFFER_FLAG_CODEC_CONFIG bufferInfo.size: 2
2023-09-21 10:16:36.675 BaseVid...corder  W  video BUFFER_FLAG_CODEC_CONFIG bufferInfo.size: 30

最后经过测试验证，也确实是这样的：
只要bufferInfo有BUFFER_FLAG_CODEC_CONFIG标志时，把buffer数据写入muxer了，用ffprobe查看生成的视频文件，就一定会有[aac @ 0x7f95c9c0e7c0] Input buffer exhausted before END element found这个错误输入；反之不写入就是正常的。

更多推荐

「工具｜数据接口」免费公开的REST API & 如何借助github搭建自己的fake API接口

本文主要介绍日常开发、测试、教学或者分享中，可能遇到的模拟数据问题。分享免费开发的测试数据接口，以及如何利用github快速搭建定制化的接口数据，避免使用真实数据的风险以及自己现编数据的麻烦。文章目录一、场景说明二、免费公开的FakeRESTAPI:jsonplaceholder三、借助GitHub和MyJSONSer

手机全自动无人直播系统，成为商家实景无人直播带货好帮手！

商家手机无人直播系统最近太火爆了，那么，这个产品究竟是什么呢？全自动无人直播系统是一款手机自动直播软件，目地在于帮助广大商家和企业实现无人直播卖货，从而解放双手、降低人工干预的需求。当然，无人直播系统除了个人可以使用，拿来直播卖货等，也适合创业者，创业模式一是可以oem贴牌，二是直接进行渠道代理。通过OEM贴牌，用户可

微服务架构介绍

系统架构的演变1、技术架构发展历史时间轴①单机垂直拆分：应用间进行了解耦，系统容错提高了，也解决了独立应用发布的问题，存在单机计算能力瓶颈。②集群化负载均衡可有效解决单机情况下并发量不足瓶颈。③服务改造架构虽然系统经过了垂直拆分，但是拆分之后发现有重复的功能，比如，用户注册、发邮件等等，一旦项目大了，集群部署多了，这些

光伏监控系统在光伏电站运营中的作用及发展

摘要：光伏电站，具体来说便是相连于电网并将电力输送给电网的光伏发电系统，是我国重点和全力发展的绿色能源项目。其中，监控自动化系统的接入，属于光伏电站应用中的重要部分。对于光伏区监控系统的探究，可以使光伏电站接入自动化系统有相应的提升，进而强化电站的运行效率和运维效率，进一步降低运维成本。关键词：光伏监控系统；光伏电站运

【Vue2.0源码学习】生命周期篇-模板编译阶段(template)

文章目录1.前言2.模板编译阶段分析2.1两种$mount方法对比2.2完整版的vm.$mount方法分析3.总结1.前言前几篇文章中我们介绍了生命周期的初始化阶段，我们知道，在初始化阶段各项工作做完之后调用了vm.$mount方法，该方法的调用标志着初始化阶段的结束和进入下一个阶段，从官方文档给出的生命周期流程图中可

GB28181学习（五）——实时视音频点播（信令传输部分）

要求实时视音频点播的SIP消息应通过本域或其他域的SIP服务器进行路由、转发，目标设备的实时视音频流宜通过本域的媒体服务器进行转发；采用INVITE方法实现会话连接，采用RTP/RTCP协议实现媒体传输；信令流程分为客户端主动发起和第三方呼叫控制两种方式，本文主要介绍客户端主动发起的方式；应具有媒体流保活机制；流程客户

第二十七章 Classes - 引用其他类成员

文章目录第二十七章Classes-引用其他类成员引用其他类成员第二十七章Classes-引用其他类成员引用其他类成员在方法中，使用下面的语法来引用其他类成员:要引用ObjectScript中的参数，使用如下表达式:..#PARAMETERNAME只能使用ObjectScript直接访问参数。要从Python访问参数，请

助力工业物联网，工业大数据之服务域：可视化工具Grafana介绍【三十八】

文章目录前言08：可视化工具Grafana介绍09：可视化工具Grafana部署10：Grafana集成Prometheus11：Grafana集成MySQL监控前言项目所需工具:链接：https://pan.baidu.com/s/1sIa8nninf2Fz6YqE3vUpqQ?pwd=5wr3提取码：5wr3–来自

Android 匿名共享内存的使用

注：本文内容转载自如下文章：Android匿名共享内存的使用AndroidView的绘制是如何把数据传递给SurfaceFlinger的呢？跨进程通信时，数据量大于1MB要怎么传递呢？用匿名共享内存（Ashmem）是个不错的选择，它不仅可以减少内存复制的次数，还没有内存大小的限制。这篇文章介绍在Java层如何使用匿名共

SkyWalking9.5.0安装与SpringBoot性能链路监控

文章目录1、下载安装1.1、安装Elasticsearch存储1.2、安装SkyWalking服务器端2、监控微服务2.1、监控SpringBoot微服务2.1、监控SpringCloudGateway网关Skywalking是分布式系统的应用程序性能监视工具，专为微服务，云原生架构和基于容器（Docker,K8S,M

PoE交换机出现不稳定的原因有哪些？

带有供电设备的PoE交换机给使用者带来了方便，因此被广泛应用。然而，很多使用商反映他们所使用的PoE交换机不稳定。那么，PoE交换机出现不稳定的原因有哪些？首先需要考虑的是数据传输的距离。尽管PoE供电交换机具有方便灵活的特点，但其供电距离不能超过100米。网线同时传输电力信号和数据信号，但电力信号的传输距离没有限制，

热文推荐
  1. Java版分布式微服务云开发架构 Spring Cloud+Spring Boot+Mybatis 电子招标采购系统功能清单

    项目说明随着公司的快速发展，企业人员和经营规模不断壮大，公司对内部招采管理的提升提出了更高的要求。在企业里建立一个公平、公开、公正的采购环境，最大限度控制采购成本至关重要。符合国家电子招投标法律法规及相关规范，以及审计监督要求；通过电子化平台提高招投标工作的公开性和透明性；通过电子化招投标，使得招标采购的质量更高、速度

  2. Spring MVC 八 - 内置过滤器

    SpringMVC内置如下过滤器：FormDataForwardedHeadersShallowETagCORSFormData浏览器可以通过HTTPGET或HTTPPOST提交formdata（表单数据），但是非浏览器客户端可以通过HTTPPUT、HTTPDELETE、HTTPPATCH提交表单数据。但是Servle

  3. 如何使用 Node.js和Express搭建服务器?

    如何使用NodeJs搭建服务器1.准备工作1.1安装Node.js2.安装express2.1初始化package.json2.2安装express2.3Express应用程序生成器1.准备工作1.1安装Node.jsNode.js是一个开源、跨平台的JavaScript运行时环境。下载链接：Node.js官网下载建议

  4. 【数据分享】我国主要城市的商圈范围数据（免费获取\shp格式）

    大家对于商圈这个概念肯定都不陌生！商圈，简单来说，就是商业聚集的区域。我国比较知名的商圈有比如北京的三里屯商圈、上海的南京东路商圈。商圈是城市商业发展的重要体现，一个城市的商圈越多、商圈范围越大、商圈能级越高，代表这个城市的商业越发达！商圈的概念也越来越深入人心，比如在大众点评上可以以商圈（商区）为规则进行店铺搜索，比

  5. 【Redis】Redis实现分布式锁

    【Redis】Redis常见面试题（1）文章目录【Redis】Redis常见面试题（1）1.为什么要用分布式锁2.Redis如何实现分布式锁3.Redis接受多个请求模拟演示4.使用Redis实现分布式锁会存在什么问题4.1一个锁被长时间占用4.2锁误删【Redis】Redis常见面试题（1）1.为什么要用分布式锁之前

  6. Pandas 数据变形和模型分析

    数据概念数据比对在本练习中，我们使用灵活的比较技术对不同的DataFrame进行比较importpandasaspdimportrandomrandom.seed(123)list1=[['A']*3,['B']*5,['C']*7]charlist=[xforsublistinlist1forxinsublist]r

  7. （vue2）.sync修饰符、ref和$refs、$nextTick、自定义指令、插槽

    .sync修饰符实现子组件和父组件数据的双向绑定，简化代码prop属性名，可以自定义，非固定value本质：属性名和@update：属性名的合写<BaseDialog:value="isShow"@update="isShow=$event">//等价于<BaseDialogv-model="isShow=$event

  8. node.js

    前端工程化：开发项目直到上线，过程中集成的所有工具和技术Node.js是独立执行JavaScript代码的环境Node.js环境比浏览器环境中的JS少了BOM和DOMfs模块-读写文件模块：类型插件，封装了方法/属性fs模块：封装了与本机文件系统进行交互的方法/属性语法：加载fs模块对象写入文件内容读取文件内容Comm

  9. 自定义指令

    一，原生指令v-bind:属性名="变量名"v-on:事件名="函数名"缩写模式：:属性名="变量名"@事件名="函数名"示例：<inputtype="text"v-bind:disabled="isDisabled"v-on:change="change"/><inputtype="text":disabled="i