GzOsOSnS9UoQ
同步播放音视频的时候，《FFmpeg开发实战：从零基础到短视频上线》一书第10章的示例程序playsync.c采取一边遍历一边播放的方式，在源文件的音频流和视频流交错读取的情况下，该方式可以很好地实现同步播放功能。 但个别格式的音频流和视频流是分开存储的，前面一大段放了所有的音频帧，后面一大段放了所有的视频帧，并非音频帧与视频帧交错存储的模式。对于这种格式，playsync.c播放时先放完所有的声音，这期间画面是空白的；再快速放完所有的视频画面，这期间没有声音，显然播放过程是有问题的。若想纠正playsync.c的播放问题，就得重新设计音视频的同步播放机制，不能采取一边遍历一边播放的方式，而...
FFmpeg结合SDL可以播放音频文件，也能播放视频文件中的音频流，《FFmpeg开发实战：从零基础到短视频上线》一书第10章的示例程序playaudio.c支持播放mp3和aac两种格式的音频，却不支持播放其他格式的音频。 因为mp3和aac两个格式拥有标准的规范定义，比如mp3规定每帧音频固定包含1152个样本，而aac规定每帧音频固定包含1024个样本。在它们的解码器实例AVCodecContext中，即可从frame_size字段获取每帧音频的样本数量。然而其他音频格式（如ogg、amr、wma等）的每帧样本数并不固定，从frame_size字段取到的样本数量为0，这不仅导致SDL初...
libass是一个适用于ASS和SSA格式（AdvancedSubstationAlpha/SubstationAlpha）的字幕渲染器，支持的字幕类型包括srt、ass等，凡是涉及到给视频画面添加字幕，均需事先集成libass。 《FFmpeg开发实战：从零基础到短视频上线》一书的“7.3.1 Linux环境安装libass”介绍了如何在Linux环境给FFmpeg集成libass，其实在Windows环境也能给FFmpeg集成libass，具体的集成步骤说明如下。注意：下列的所有命令均需在MSYS窗口中执行。 1、安装freetype fontconfig、fribidi、ha...
《FFmpeg开发实战：从零基础到短视频上线》一书的例程主要测试本地的音视频文件，当然为了安全起见，很多网络视频都采用了https地址。FFmpeg若要访问https视频，就必须集成第三方的openssl库，但编译FFmpeg时却默认关闭了openssl。为了让App能够播放采用https的在线视频，需要编译安装并启用openssl。 在Linux服务器交叉编译Android的so库之时，给FFmpeg集成openssl的详细步骤说明如下： 1、交叉编译openssl openssl的源码托管地址为https://github.com/openssl/openssl，各版本openssl的下...
MediaMTX是个开源的轻量级流媒体服务器，它的安装过程参见《FFmpeg开发实战：从零基础到短视频上线》一书的“10.2.2 FFmpeg向网络推流”。MediaMTX下载后的压缩包包括可执行程序mediamtx.exe和配置文件mediamtx.yml，看起来非常简约，但它提供的流媒体服务一点也没缩水。双击mediamtx.exe，MediaMTX弹出一个命令行窗口，窗口内部的日志信息如下： 2023/12/1014:18:25INFMediaMTXv1.3.0 2023/12/1014:18:25INFconfigurationloadedfromE:\ProgramFi...
FFmpeg在很多地方都运用了缓存机制，比如《FFmpeg开发实战：从零基础到短视频上线》一书的“3.3.2 对视频流重新编码”介绍了编解码的数据缓存，不单是视频编码过程和视频解码过程有缓存，甚至连音频重采样都用到了缓存。 也就是说，重采样函数swr_convert一次只会输出指定长度的音频数据，超出这个长度的数据被留在重采样的缓存当中。那么在对一个音频文件转换格式之时，有可能所有音频帧都遍历完了，重采样缓存里面还保存着剩余未取走的音频数据。此时要像对待视频编码缓存那样，想办法把剩下的音频数据冲出来。具体到代码实现上，在调用swr_convert函数之时，倒数第二个参数填NULL，...
MP4是最常见的视频封装格式，在《FFmpeg开发实战：从零基础到短视频上线》一书的“1.2.3 自行编译与安装FFmpeg”介绍了如何给FFmpeg集成x264和x265两个库，从而支持H.264和H.265两种标准的编解码。 视频的封装格式除了悠久的MP4和ASF之外，还有较新的WebM格式，该格式的音频编码主要采用Opus，视频编码采用VP8或者VP9。其中Opus的编解码库为libopus，VP8和VP9的编解码库为libvpx。前文介绍了在Linux环境给FFmpeg集成libopus和libvpx，接下来介绍如何在Windows环境给FFmpeg集成libopus和li...
MP4是最常见的视频封装格式，在《FFmpeg开发实战：从零基础到短视频上线》一书的“1.2.3 自行编译与安装FFmpeg”介绍了如何给FFmpeg集成x264和x265两个库，从而支持H.264和H.265两种标准的编解码。 视频的封装格式除了古老的MP4和ASF之外，还有较新的WebM格式，该格式的音频编码主要采用Opus，视频编码采用VP8或者VP9。其中Opus的编解码库为libopus，VP8和VP9的编解码库为libvpx。因此要先安装编译这两个库，再让FFmpeg开启opus和vpx支持，在Linux环境的操作过程包含三个步骤：安装libopus、安装libvpx...
FFmpeg内置了aac音频格式，在《FFmpeg开发实战：从零基础到短视频上线》一书的“5.2.2 Linux环境集成mp3lame”又介绍了如何给FFmpeg集成mp3格式，常见的音频文件除了这两种之外，还有ogg和amr两种格式也较常用。其中ogg格式的编解码依赖于libogg和libvorbis，而amr格式的编解码依赖于opencore-amr。前文介绍了在Linux环境给FFmpeg集成vorbis和amr，接下来介绍如何在Windows环境给FFmpeg集成vorbis和amr。 1、安装libogg libogg支持解析ogg文件结构，也可用于封装ogg格式，它的安...
FFmpeg内置了aac音频格式，在《FFmpeg开发实战：从零基础到短视频上线》一书的“5.2.2 Linux环境集成mp3lame”又介绍了如何给FFmpeg集成mp3格式，常见的音频文件除了这两种之外，还有ogg和amr两种格式也较常用。其中ogg格式的编解码依赖于libogg和libvorbis，而amr格式的编解码依赖于opencore-amr。因此要先安装编译这三个库，再让FFmpeg开启ogg和amr支持，在Linux环境的操作过程包含四个步骤：安装libogg、安装libvorbis、安装opencore-amr、重新编译FFmpeg，分别说明如下。 1、安装lib...
《FFmpeg开发实战：从零基础到短视频上线》一书的“12.1.2 交叉编译Android需要的so库”介绍了如何在Windows环境交叉编译Android所需FFmpeg的so库，前文又介绍了如何在Linux环境交叉编译Android所需FFmpeg的so库，接下来介绍如何在Linux环境交叉编译Android所需x265的so库。 1、安装cmake 执行以下命令安装cmake yuminstallcmakegit 2、下载Linux版本的android-ndk-r21e（如已下载则忽略） 登录Linux服务器（比如华为云的欧拉系统），依次执行下面的命令。 cd/usr/...
《FFmpeg开发实战：从零基础到短视频上线》一书的“12.1.2 交叉编译Android需要的so库”介绍了如何在Windows环境交叉编译Android所需FFmpeg的so库，接下来介绍如何在Linux环境交叉编译Android所需FFmpeg的so库。 1、下载Linux版本的android-ndk-r21e 登录Linux服务器（比如华为云的欧拉系统），依次执行下面的命令。 cd/usr/local/src curl-Ohttps://dl.google.com/android/repository/android-ndk-r21e-linux-x86_64.zip ...
FFmpeg支持Linux、macOS、Windows、Android等操作系统，其中Linux系列包括Ubuntu、Debian、Mint、CentOS、RHEL、Fedora等分支。FFmpeg官网的编译入口地址为 https://trac.ffmpeg.org/wiki/CompilationGuide，在这里可以找到FFmpeg对各系统的编译说明。更多详细的FFmpeg开发知识参见《FFmpeg开发实战：从零基础到短视频上线》一书。 一、在CentOS上编译安装FFmpeg 以常见的CentOS为例，FFmpeg的编译说明页面为https://trac.ffmpeg.org/wiki/...
学习FFmpeg的时候，经常要到GitHub下载各种开源代码，比如FFmpeg的源码页面位于https://github.com/FFmpeg/FFmpeg。然而国内访问GitHub很不稳定，经常打不开该网站，比如在命令行执行下面的ping命令。 pinggithub.com 上面的ping结果如下所示，可见默认解析的DNS地址连接超时。 正在Pinggithub.com[20.205.243.166]具有32字节的数据: 请求超时 请求超时 请求超时 现在GitHub的DNS请求超时，使得其上的开源代码无法下载，严重影响了FFmpeg的学习运用。更多详细的FFmpeg开发知识参...
《FFmpeg开发实战：从零基础到短视频上线》一书提到：使用MSYS对FFmpeg进行交叉编译时，需要事先安装交叉编译工具链，也就是执行下面命令。 pacman-Smingw-w64-x86_64-toolchain 一般情况可以正常安装交叉编译工具链，不过有时会提示错误“signaturefrom"DavidMacek<david.macek.0@gmail.com>"isunknowntrust”，这是因为MSYS安装之后的密钥环有效期只有150天左右，而工具链中的个别组件会检查密钥环是否有效。如果密钥环过了150天之后才安装工具链，MSYS就会报前面的错，...
FFmpeg不仅提供了ffmpeg、ffplay和ffprobe三个可执行程序，还提供了八个工具库，使得开发者能够调用库里面的函数，从而实现更精准的定制化开发需求。这八个库的名字是avcodec、avdevice、avfilter、avformat、avutil、postproc、swresample、swscale，下面分别对这些库展开介绍。更多详细的FFmpeg开发知识参见《FFmpeg开发实战：从零基础到短视频上线》一书。 1、avcodec avcodec是FFmpeg的音视频编解码库，它包含了各种音频的编码库和解码库，以及各种视频的编码库和解码库。通过avcodec可以将原始的音视频...
外界对于FFmpeg主要有两种使用途径，一种是在命令行运行FFmpeg的可执行程序，该方式适合没什么特殊要求的普通场景；另一种是通过代码调用FFmpeg的动态链接库，由于开发者可以在C代码中编排个性化的逻辑，因此该方式适合厂商专用的特制场景。更多详细的FFmpeg开发知识参见《FFmpeg开发实战：从零基础到短视频上线》一书。开源的FFmpeg框架提供了三个可执行程序，分别是ffmpeg、ffplay和ffprobe，下面分别展开详细介绍。 1、ffmpeg程序 ffmpeg程序主要有两个用途，一个是查询FFmpeg的支持信息，另一个是处理音视频的转换操作。关于音视频的转换命令...
对于初学者来说，如何搭建FFmpeg的开发环境是个不小的拦路虎，因为FFmpeg用到了许多第三方开发包，所以要先编译这些第三方源码，之后才能给FFmpeg集成编译好的第三方库。不过考虑到刚开始仅仅调用FFmpeg的API，不会马上去改FFmpeg的源码，因此只要给系统安装编译好的FFmpeg动态库，即可着手编写简单的FFmpeg程序。比如这个网站https://github.com/BtbN/FFmpeg-Builds/releases提供了已经编译通过的FFmpeg开发包，囊括Linux、Windows等系统环境的开发版本。对该网站提供的Linux版FFmpeg安装包而言，需要事先安装不低于...
由于Linux系统比较专业，个人电脑很少安装Linux，反而大都安装Windows系统，因此提高了FFmpeg的学习门槛，毕竟在Windows系统搭建FFmpeg的开发环境还是比较麻烦的。不过若有已经编译好的Windows版本FFmpeg开发包，那就免去了繁琐的Windows编译过程，所以直接安装已编译的FFmpeg开发包，还是相对容易的。在Windows系统安装FFmpeg之前，要先安装MSYS2。一、安装MSYS2MSYS2允许在Windows系统模拟Linux环境，它的命令行界面可以很好地仿真Linux终端，所以在Windows系统上编译和执行FFmpeg程序都要通过MSYS2的控制台...