二、视频编解码基础知识
图像信息经采集后生成的原始视频数据，数据量非常大，对于某些采集后直接本地播放的应用场合，不需要考虑压缩技术。但现实中更多的应用场合，涉及视频的传输与存储，传输网络与存储设备无法容忍原始视频数据的巨大数据量，必须将原始视频数据经过编码压缩后，再进行传输与存储。
（1）未经压缩的数字视频的数据量巨大
（2）存储困难，如：一张DVD只能存储几秒钟的未压缩数字视频
（3）传输困难，如：1兆的带宽传输一秒的数字电视视频需要大约4分钟，720p RGB 15帧每秒码率计算： 1280 x 720 x 3 x 15 ≈ 41MB ≈ 331Mb
将视频数据中的冗余信息去除，寻找像素之间的相关性，还有不同时间的图像帧之间的相关性。
视频编码 是压缩和可能改变视频内容格式的过程，有时甚至将模拟源更改为数字源。在压缩方面，目标是减少占用空间。这是因为它是一个有损的过程，会抛弃与视频相关的信息。在解压缩以进行回放时，创建原始的近似值。应用的压缩越多，抛出的数据越多，近似值与原始数据相比越差。
视频编解码器是通过软件或硬件应用程序完成的视频压缩标准。编解码器，如：H.264，VP8，RV40以及其他标准或更高版本(VP9)
注：音频编解码器，如：LAME / MP3，Fraunhofer FDK AAC，FLAC等。
根据已经编码好的块信息得到一个预测值，这样只需要编码实际值与预测值之间的差异即可。
空间冗余的消除：
帧内预测：根据同一帧中相邻已编码好的块信息得到预测数据，编码差异数据
时间冗余的消除：
帧间预测：根据已编码帧中的块信息得到预测数据，编码差异数据
I 帧：仅采用帧内压缩技术，压缩效率最低，编解码无需用到其他帧的信息，是GOP的起始点。
P 帧：前向预测帧，编解码只参考前一个帧，可作为其他图像编码时的参考帧，属帧间压缩技术。
B 帧：双向预测帧，编解码既参考前一帧也可参考后一帧，压缩效率最高，复杂度高，时延较大，属帧间压缩技术。
GOP(group of pictures)一般指两个I帧之间的间隔帧数，两个I帧之间是一个图像序列，在一个图像序列中只有一个I帧。
H.264 原始码流(⼜称为 裸流)，是由⼀个接⼀个的 NALU 组成的，而它的功能分为两层：视频编码层VCL 和 网络提取层NAL。
VCL负责有效表示视频数据的内容。
H264除了实现了对视频的压缩处理之外，为了方便网络传输，提供了对应的视频编码和分片策略；类似于网络数据封装成IP帧，在H264中将其称为组(gop)、片（slice）、宏块（Macroblock）这些一起组成了H264的码流分层结构;H264将其组织成为序列(GOP)、图片(pictrue)、片(Slice)、宏块(Macroblock)、子块(subblock)五个层次。
宏块：视频编码的基本单元，h264通常宏块大小为16x16个像素，所以编码器一般会对图像的宽 高有要求，需要为16的倍数。
Slice：条带，图像的划分，一帧图像可编码成一个或者多个条带，每条带包含整数个宏块。
SPS: 序列参数集，包含应用于完整视频序列的语法元素，比如图像宽，高等。
PPS: 图像参数集，包含应用于编码图像的语法元素，比如量化参数，参考帧列表大小等。
NAL定义了数据封装的格式和统一的网络接口，负责格式化VCL数据并提供头信息，以保证数据适合各种信道和存储介质上的传输。
NAL基本单元为NALU，每一个NALU包含一个字节的头信息和其后的负载数据。
参考文档
https://zhuanlan.zhihu.com/p/31056455
https://blog.csdn.net/knowledgebao/article/details/86716428
重点链接：NAL/NALU详解可以查阅：
https://www.jianshu.com/p/1b3f8187b271
http://www.wendangku.net/doc/039e95757fd5360cba1adb46.html
附上几篇文章：
https://blog.csdn.net/knowledgebao/article/details/86716428
https://zhuanlan.zhihu.com/p/31056455
https://www.jianshu.com/p/0c296b05ef2a
Android平台市面上大部分的芯片厂商的硬编硬解都适配，例如：高通，三星Exynos，联发科，海思等；windows平台上支持Intel qsv硬编硬解。
分辨率：（矩形）图片的长度和宽带，即图片的尺寸。影响图像大小，与图像大小成正比；分辨率越高，图像越大；分辨率越低，图像越小。
分辨率是指视频画面横向和纵向被切分成多少块。
区别 1080P , 3MP ,4K
P 720P 、1080P 表示的是"视频像素的总函数" ，' P ' (Progressive的缩写)表示的是"逐行扫描"
K 2K 、4K 等是表示 "视频像素的总列数" ，4K表示的是视频有4000列的像素数，具体是3840列或4096列。
MP 代表的是像素总数，指像素的行数（P）与列数（K）相乘后的一个结果（百万像素）。
帧率 是指每秒图像的数量，一帧代表的就是一副静止的画面，连续的帧就形成了动画。影响画面流畅度，与画面流畅度成正比：帧率越大，画面越流畅；帧率越小，画面越有跳动感。帧率就是在1秒钟时间里传输的图片的帧数，也可以理解为图形处理器每秒钟能够刷新几次。
码率 指编码器每秒编出的数据大小，单位是kbps 。
视频文件在单位时间内使用的数据流量，指把每秒显示的图片进行压缩后的数据量。影响体积，与体积成正比：码率越大，体积越大，码率越小，体积越小。（体积=码率X时间）
压缩前的每秒数据量 = 帧率 x 分辨率（单位是字节）
压缩比 = 压缩前的每秒数据量 / 码率（对于同一视频源并采用同一种视频编码算法，压缩比越高，画面质量越差）
清晰度
在码率一定的情况下，分辨率与清晰度成反比关系：分辨率越高，图像越不清晰，分辨率越低，图像越清晰。
在分辨率一定的情况下，码率与清晰度成正比关系，码率越高，图像越清晰；码率越低，图像越不清晰。
好文章理解分辨率、帧率和码率三者之间的关系： https://blog.csdn.net/qq_39759656/article/details/80701965
都看到这里了，点个赞呗 0.0
绛旓細1. 鍩虹鐭ヨ瘑 YKV鏄竴绉嶇被浼间簬Xvid銆丏ivX鍜孒.264鐨瑙嗛缂栬В鐮鍣紝鑰孧KV鍒欐槸涓绉嶅皝瑁呭绉嶇爜娴併佸绉嶉煶棰戜笌瑙嗛杞ㄩ亾銆佸绉嶅瓧骞曘佸皝闈㈡祦鍜岃彍鍗曠殑鏍煎紡銆傝繖涓よ呰櫧鐒堕兘涓庤棰戠浉鍏筹紝浣嗘槸瀹冧滑鎵娑夊強鐨勯鍩熷拰搴旂敤鍦烘櫙瀹屽叏涓嶅悓銆2. 鏂囦欢瀹归噺 鐢变簬MKV鑳藉灏佽澶氱闊抽銆佽棰戙佸瓧骞曠瓑娴侊紝瀹冪殑鏂囦欢瀹归噺寰堝鏄撴瘮YK...
绛旓細 鐢ㄤ簬鍚勭闊宠棰戝皝瑁呮牸寮忕殑鐢熸垚鍜岃В鏋愶紝鍖呮嫭鑾峰彇瑙ｇ爜鎵闇淇℃伅浠ョ敓鎴愯В鐮佷笂涓嬫枃缁撴瀯鍜岃鍙栭煶瑙嗛甯х瓑鍔熻兘锛涢煶瑙嗛鐨勬牸寮忚В鏋愬崗璁紝涓 libavcodec 鍒嗘瀽鐮佹祦鎻愪緵鐙珛鐨勯煶棰戞垨瑙嗛鐮佹祦婧愩俵ibavcodec 鐢ㄤ簬鍚勭绫诲瀷澹伴煶/鍥惧儚缂栬В鐮侊紱璇ュ簱鏄煶瑙嗛缂栬В鐮鏍稿績锛屽疄鐜颁簡甯傞潰涓婂彲瑙佺殑缁濆ぇ閮ㄥ垎瑙ｇ爜鍣ㄧ殑...
绛旓細鏂颁竴浠瑙嗛鍘嬬缉缂栫爜鏍囧噯鍏ㄩ潰瑙ｆ瀽濡備笅锛氱1绔狅紝姒傝锛屼负璇昏呬粙缁嶄簡瑙嗛鍘嬬缉缂栫爜鐨鍏ラ棬鐭ヨ瘑锛涓哄悗缁繁鍏ョ悊瑙ｅ瀹氫簡鍩虹銆傜2绔狅紝娣卞叆鎺㈣浜嗘暟瀛楄棰戠殑鍩虹姒傚康锛屽寘鎷叾鍩烘湰鏋勬垚鍜岀壒鎬э紝甯姪璇昏呭缓绔嬭捣瀵硅棰戝鐞嗙殑鍒濇璁よ瘑銆傜3绔狅紝璇﹁堪浜嗚棰戝帇缂╃紪鐮佺殑鏍稿績鍘熺悊锛屽寘鎷暟鎹帇缂┿佺紪鐮佹晥鐜囩瓑鍏抽敭姒傚康锛屼负鍚庣画缂栫爜...
绛旓細MJPEG鍘嬬缉鎶鏈彲浠ヨ幏鍙栨竻鏅板害寰堥珮鐨勮棰戝浘鍍忥紝鍙互鍔ㄦ佽皟鏁村抚鐜囥佸垎杈ㄧ巼銆備絾鐢变簬娌℃湁鑰冭檻鍒板抚闂村彉鍖栵紝閫犳垚澶ч噺鍐椾綑淇℃伅琚噸澶嶅瓨鍌紝鍥犳鍗曞抚瑙嗛鐨勫崰鐢ㄧ┖闂磋緝澶э紝娴佽鐨凪JPEG鎶鏈洃鎺т笌瑙嗛缂栫爜鏈濂界殑涔熷彧鑳藉仛鍒3K瀛楄妭/甯э紝閫氬父瑕8~20K锛丮PEG-1/2MPEG-1鏍囧噯涓昏閽堝SIF鏍囧噯鍒嗚鲸鐜(NTSC鍒朵负352X240锛汸AL鍒朵负...
绛旓細瑾夌ゥ绁鐭ヨ瘑 鍚慣A鎻愰棶 鍏虫敞 灞曞紑鍏ㄩ儴 ??鐭瑙嗛杩欎箞鐏垎涓庨噸瑕,閭ｄ箞浣滀负褰辫鍒朵綔涓撲笟鐨勫涔犺呯殑鎴戜滑鑲畾瑕佸幓浜嗚В涓涓嬬煭瑙嗛鏄浣曞垱浣滅殑,鎬濊冧竴涓嬫庝箞鎵嶈兘鍋氬嚭鏇翠笓涓,鏇寸敓鍔,鏇存湁鍒涙剰鐨勮棰戜綔鍝併??鍗曠嫭PR宸茬粡鍙互婊¤冻鍓緫銆佹姞鍍忓拰瀛楀箷鐨勮姹傘鍩烘湰涓嶉渶瑕佺敤鍒癆E銆??闇瑕佺敾闈㈡紓浜篃娌￠棶棰:涓鏄瀯鍥捐濂,浜屾槸鏈...
绛旓細瀹炶返鍜屽涔犳槸鎻愬崌鎶鑳界殑鍏抽敭锛屾帹鑽愪竴绯诲垪娣卞叆鐨勬暀绋嬶紝濡傘婂嵆鏃堕氳闊宠棰戝紑鍙戙嬪拰銆婄Щ鍔ㄧ瀹炴椂闊宠棰戠洿鎾妧鏈瑙ｃ嬶紝瀹冧滑娑电洊浜瑙嗛缂栬В鐮銆侀煶棰戠紪鐮佺殑鐞嗚鍜屽疄璺鐭ヨ瘑銆 闄勫綍閮ㄥ垎锛屾垜浠负浣犵簿閫変簡涓绯诲垪瀹炴垬璧勬枡鍜屾繁搴︽暀绋嬶紝渚嬪锛氫竷鐗涗簯鎶鏈垎浜細QUIC鍗忚鐩存挱鐨勬祦鐣呬綋楠 瓒呬綆寤惰繜鏋舵瀯璁捐涓庡疄璺 ...
绛旓細1.1 - 绠浠嬶紝浜嗚В杞欢鐨勫姛鑳戒笌鐢ㄩ斻1.2 - 鍒濆鍖栬缃紝璇︾粏璁茶В椤圭洰銆侀閫夐」鍜屽悎鎴愮獥鍙ｇ殑璁剧疆锛屼互鍙婄礌鏉愬拰娓叉煋杈撳嚭鐨勯厤缃1.3 - 瑙嗛鍩虹鐭ヨ瘑锛屾秹鍙婇愯鎵弿銆佺旱妯瘮銆佹挱鏀惧埗寮忕瓑姒傚康锛屼互鍙缂栫爜瑙ｇ爜鍣ㄥ拰甯ч鍒嗚鲸鐜囩殑瑙ｆ瀽銆1.4 - 缁撳熬鎻愪緵璇惧悗缁冧範锛屽珐鍥烘墍瀛︾煡璇嗐傜2绔狅紝鍩烘湰鎿嶄綔锛岀啛鎮夌晫闈㈠拰鏂囦欢...
绛旓細浣嗙浉姣瑙嗛缂栬В鐮锛孫SG鏂瑰悜鐨勫姡鍔垮湪浜庯細1. 甯傚満闇姹傜殑骞挎硾鎬ц緝浣庛傝櫧鐒禣SG鍦ㄨ绠楁満鍥惧舰瀛﹂鍩熸湁閲嶈搴旂敤锛屼絾鐩告瘮瑙嗛缂栬В鐮佸湪鍦ㄧ嚎瑙嗛銆佹祦濯掍綋绛夐鍩熺殑骞挎硾搴旂敤锛屽叾甯傚満闇姹傜浉瀵硅緝灏忋2. 鎶鏈棬妲涚浉瀵硅緝楂樸侽SG娑夊強鐨勪笁缁村浘褰㈠鐭ヨ瘑鐩稿澶嶆潅锛岄渶瑕佽緝楂樼殑鏁板銆佺墿鐞鍩虹锛屽涔犳洸绾胯緝闄″抄銆傜患鍚堣冭檻甯傚満闇姹傘...
绛旓細閫氳繃杩欐湰涔︼紝璇昏呭彲浠ヤ簡瑙ｅ埌鏁板瓧瑙嗛鎶鏈殑鏈鏂拌繘灞曪紝鍖呮嫭浣嗕笉闄愪簬瑙嗛缂栫爜銆瑙ｇ爜銆佺紪杈戙佺壒鏁堝埗浣滅瓑鏂归潰鐨勪笓涓鐭ヨ瘑銆傛棤璁烘槸涓撲笟鎶鏈汉鍛橈紝杩樻槸瀵规暟瀛楀獟浣撴劅鍏磋叮鐨勪笟浣欑埍濂借咃紝閮借兘浠庝腑鑾风泭鍖祬銆傚畠涓嶄粎鏄竴鏈妧鏈墜鍐岋紝涔熸槸涓鏈疄鐢ㄦу緢寮虹殑鎸囧涔︾睄锛屼负瀹炶返鎿嶄綔鎻愪緵浜嗙悊璁鍩虹銆
绛旓細銆婃暟瀛楅煶瑙嗛鍙婂叾缃戠粶浼犺緭鎶鏈嬫槸涓鏈繁鍏ヨВ鏋愬濯掍綋棰嗗煙鐨勯噸瑕佽憲浣滐紝瀹冨湪鍏ㄩ潰璁茶В闊瑙嗛缂栬В鐮鎶鏈殑鍩虹涓婏紝璇﹀敖鎺㈣浜嗙綉缁滀笌澶氬獟浣撻氫俊鐨勬牳蹇冨師鐞嗐佸疄闄呭簲鐢ㄥ満鏅互鍙婂墠娌垮彂灞曡秼鍔裤傝繖鏈功鍒嗕负涓ゅぇ閮ㄥ垎锛屽叡璁15绔狅紝鍒嗗埆鏄熀纭绡囧拰搴旂敤绡囥傚熀纭绡囧寘鎷6绔犲唴瀹癸紝璇︾粏闃愯堪浜嗘暟瀛楅煶瑙嗛鍘嬬缉缂栫爜鐨勭悊璁猴紝娑电洊浜...
