FFmpeg的视频编码格式
FFmpeg 支持很多视频编码格式，比如MPEG4、H263、H264、H265、VP8、VP9等。
1. H264视频编码格式
1.1 码率控制
1.1.1 VBR
VBR: Variable BitRate，动态码率模式，其码率可以随着图像的复杂程度的不同而变化，因此其编码效率比较高。
1.1.2 CBR
CBR: Constant BitRate，恒定码率模式，由于码率恒定，有画面剧烈变化时，QP参数会增大，图像质量会变差，当场景静止时，又浪费带宽。该模式的整体图像质量不稳定。
1.1.3 ABR
ABR: Average BitRate，平均码率模式，是VBR的一种衍生形式，在指定的文件大小内，静态或者接近静态的画面部分使用相对较低的流量，复杂画面部分使用较高的流量，可以视为是VBR和CBR的一种折衷方案。
1.2 不同的帧类型
1.2.1 I帧类型
- 一个GOP序列的第一个图像叫做IDR图像（立即刷新图像)，IDR图像都是Ⅰ帧图像，但I帧不一定都是IDR帧，只有GOP序列的第1个I帧是IDR帧。
- I帧，又叫帧内参考帧，保留一帧完整的画面。
- 解码时仅用I帧的数据就可重构出完整的图像。
- I帧不需要参考其他画面而生成。
- I帧是P帧和B帧的参考帧。
- I帧不需要考虑运动矢量。
- I帧所占数据的信息量最大。
1.2.2 B帧类型
- B帧，又叫双向参考帧，也就是B帧记录的是本帧与前后帧的差别，要解码B帧，不仅要取得之前的缓存画面，还要解码之后的画面，通过前后画面的与本帧数据的叠加取得最终的画面。
- B帧的压缩率最高，但是解码时CPU使用率会比较高。
- B帧是由前面的I或P帧和后面的P帧来进行预测的。
- B帧传送的是它与前面的I或P帧和后面的P帧之间的预测误差及运动矢量。
- B帧不是参考帧，不会造成解码错误的扩散。
1.2.3 P帧类型
- P帧，又叫前向参考帧，表示的是这一帧跟之前的一个关键帧（或P帧)的差别，解码时需要用之前缓存的画面叠加上本帧定义的差别，生成最终画面，P帧没有完整画面数据，只有与前一帧的画面差异的数据。
- P帧是I帧后面相隔1~2帧的编码帧。
- P帧采用运动补偿的方法传送它与前面的I或P帧的差值及运动矢量(预测误差)。
- P帧属于前向预测的帧间编码。它只参考前面最靠近它的I帧或P帧。
- P帧可以是其后面P帧的参考帧，也可以是其前后的B帧的参考帧。
- P帧是参考帧，可能会造成解码错误的扩散。
- P帧的压缩比介于I帧和B帧之间。不同帧之间的相互关系
2. MPEG4视频技术
2.1 关键技术
2.1.1 视频对象提取技术
目前进行视频对象分割的一般步骤是：先对原始视频/图像数据进行简化以利于分割，这可通过低通滤波、中值滤波、形态滤波来完成；然后对视频/图像数据进行特征提取，可以是颜色、纹理、运动、帧差、位移帧差乃至语义等特征；再基于某种均匀性标准来确定分割决策，根据所提取特征将视频数据归类；最后是进行相关后处理，以实现滤除噪声及准确提取边界。
2.1.2 VOP视频编码技术
视频对象平面（VOP，Video Object Plane）是视频对象（VO）在某一时刻的采样，VOP是MPEG-4视频编码的核心概念。MPEG-4在编码过程中针对不同VO采用不同的编码策略，即对前景VO的压缩编码尽可能保留细节和平滑；对背景VO则采用高压缩率的编码策略，甚至不予传输而在解码端由其他背景拼接而成。这种基于对象的视频编码不仅克服了第一代视频编码中高压缩率编码所产生的方块效应，而且使用户可与场景交互，从而既提高了压缩比，又实现了基于内容的交互，为视频编码提供了广阔的发展空间。
2.1.3 视频编码可分级性技术
视频编码的可分级性（scalability）是指码率的可调整性，即视频数据只压缩一次，却能以多个帧率、空间分辨率或视频质量进行解码，从而可支持多种类型用户的各种不同应用要求。
3. 拓展的H263++技术
H263++在H263+基础上增加了3个选项，主要是为了增强码流在恶劣信道上的抗误码性能，同时为了提高增强编码效率。
3.1 不同的选项不同的帧选择
- 选项U——称为增强型参考帧选择，它能够提供增强的编码效率和信道错误再生能力(特别是在包丢失的情形下)，需要设计多缓冲区用于存贮多参考帧图像。
- 选项V——称为数据分片，它能够提供增强型的抗误码能力(特别是在传输过程中本地数据被破坏的情况下)，通过分离视频码流中DCT的系数头和运动矢量数据，采用可逆编码方式保护运动矢量。
- 选项W——在H263+的码流中增加补充信息，保证增强型的反向兼容性，附加信息包括：指示采用的定点IDCT、图像信息和信息类型、任意的二进制数据、文本、重复的图像头、交替的场指示、稀疏的参考帧识别。