一、视频采集基础知识
“色彩空间”一词源于西方的“Color Space”,又称作“色域”,色彩学中,人们建立了多种色彩模型,以一维、二维、三维甚至四维空间坐标来表示某一色彩,这种坐标系统所能定义的色彩范围即色彩空间。我们经常用到的色彩空间主要有RGB、CMYK、Lab等。
色彩模型 是通过一组数值来描述颜色的一种抽象数学模型。( 例如:通常 三原色光模式( RGB )使用三元组、印刷四分色模式 ( CMYK )使用四元组)
Lab模式 是由国际照明委员会(CIE)于1976年公布的一种色彩模式。
RGB模式 是一种发光屏幕的加色模式,CMYK模式是一种颜色反光的印刷减色模式。而Lab模式既不依赖光线,也不依赖于颜料,它是CIE组织确定的一个理论上包括了人眼可以看见的所有色彩的色彩模式,弥补了RGB和CMYK两种色彩模式的不足。从Lab的通道可以看出,这种色彩混合后将产出明亮的色彩。
在表达⾊彩范围上,色彩数量的比较:Lab > RGB > CMYK ,也就是说Lab模式所定义的⾊彩最多,且与光线及设备⽆关,并且处理速度与RGB模式同样快,⽐CMYK模式快数倍。
RGB 模型 是常用的一种彩色信息表达方式,它使用 红 、 绿 、 蓝 三原色 的亮度来定量表示颜色。
RGB模型 的空间是个单位正方体。立方体内的各点对应不同的颜色,可以用从原点各点对应不同的颜色,可以从原点到该点的矢量表示,三个坐标值分别为红、绿、蓝三色的比例。在数字系统中这个单位空间被离散化,通常每个分量都用 8位 整数表示,这样每个像素需要 24位 表示。
RGB模型 --- 色域 ( sRGB 、Adobe RGB 、CMYK )
RGB模型 --- 内部排布
常见的RGB格式 :RGBA32 、BGRA32 、RGB24
YUV色彩模型 利用人类视觉对亮度的敏感度比对色度的敏感度高的特点获得较RGB色彩模型的优势,为彩色电视系统广泛使用。YUV色彩模型将亮度信息从色度信息中分离了出来,并且对同一帧图像的亮度和色度采用了不同的采样率。在YUV色彩模型中,亮度信息Y与色度信息U\V相互独立。Y信号分量为黑白灰度图。U、V信号分量为单色彩色图。与我们熟知的RGB类似,YUV也是一种颜色编码方法,主要用于电视系统以及模拟视频领域,它将亮度信息(Y)与色彩信息(UV)分离,没有UV信息一样可以显示完整的图像,只不过是黑白的,这样的设计很好地解决了彩色电视机与黑白电视的兼容问题。并且,YUV不像RGB那样要求三个独立的视频信号同时传输,所以用YUV方式传送占用极少的频宽。
YUV格式有两大类:planar 和 packed
对于planar的YUV格式,先连续存储所有像素点的Y,紧接着存储所有像素点的U,随后是所有像素点的V。对于packed的YUV格式,每个像素点的Y,U,V是连续交叉存储的。
YUV,分为三个分量,“Y”表示明亮度(Luminance或Luma),也就是灰度值;而“U”和“V” 表示的则是色度(Chrominance或Chroma),作用是描述影像色彩及饱和度,用于指定像素的颜色。
常见的YUV格式有YUY2、YUYV、YVYU、UYVY、AYUV、Y41P、Y411、Y211、IF09、IYUV、YV12、YVU9、YUV411、YUV420等,其中比较常见的YUV420分为两种:YUV420P和YUV420SP。
YUV常用的采样格式有:YCbCr 4:2:0、YCbCr 4:2:2、YCbCr 4:1:1和YCbCr 4:4:4。
YUV的表示法称为A:B:C表示法:
4:4:4表示完全取样,每一个Y对应一组UV分量,一个YUV占8+8+8 = 24bits 3个字节,24bit⼀个像素
4:2:2表示2:1的⽔平取样,垂直完全采样,每两个Y共用一组UV分量,一个YUV占8+4+4 = 16bits 2个字节
4:2:0表示2:1的⽔平取样,垂直2:1采样,12bit⼀个像素
4:1:1表示4:1的⽔平取样,垂直完全采样,12bit⼀个像素
这里就不细讲各个采样方式啦。
YUV模型 --- 色域 ( 不同的标准 :YIQ 、PAL 、YCbCr )
音视频采集主要依赖视频、音频硬件采集设备。
视频采集图像传感器(CCD或CMOS等),用于图像采集和处理的过程,把图像转换成电信号。
拾音器、麦克风(声音传感器),用于声音采集和处理的过程,把声音转换成电信号。
物理采集设备 :USB摄像头 、SOC摄像头 、采集卡
数码变焦
数码变焦是在感光器件垂直方向向上的变化,而给人以变焦效果的。在感光器件上的面积越小,那么视觉上就会让用户只看见景物的局部。但是由于焦距没有变化,所以,图像质量是相对于正常情况下较差(除pureview技术外)
光学变焦
光学变焦是通过镜头、物体和焦点三方的位置发生变化而产生的。当成像面在水平方向运动的时候,视觉和焦距就会发生变化,更远的景物变得更清晰,让人感觉像物体递进的感觉。
焦距
焦距也称为焦长,是光学系统中衡光的聚集或发散的度量方式,指从透镜中心到光聚集之焦点的距离。亦是照相机中,从镜片光学中心到底片、CCD或CMOS等成像平面的距离。其实,把“焦距”换⼀个词,大家就对其完全理解了——“视野范围”。所以,短焦距镜头视野范围大,也叫做广角镜头;长焦距镜头视觉范围小;标准焦距镜头的视觉范围就如同我们的眼睛所见⼀般。
对焦
对焦也叫对光、聚焦。通过照相机对焦机构变动物距和相距的位置,使被拍物成像清晰的过程就是对焦。
延迟 (采集延迟 、整体延迟)
整体延迟:采集到渲染看到图像的时间。
软件采集是通过软件采集的方式进行采集视频数据,常见的有屏幕采集。
屏幕采集
Android MediaProjection
Android 5.0版本之后,⽀持使⽤MediaProjection的⽅式获取屏幕视频流。具体的使⽤⽅法和原理如下图
iOS -- ReplayKit
绛旓細寤惰繜 锛堥噰闆嗗欢杩 銆佹暣浣撳欢杩燂級 鏁翠綋寤惰繜锛氶噰闆嗗埌娓叉煋鐪嬪埌鍥惧儚鐨勬椂闂淬傝蒋浠堕噰闆嗘槸閫氳繃杞欢閲囬泦鐨勬柟寮忚繘琛閲囬泦瑙嗛鏁版嵁锛屽父瑙佺殑鏈夊睆骞曢噰闆嗐 灞忓箷閲囬泦 Android MediaProjection Android 5.0鐗堟湰涔嬪悗锛⽀鎸佷娇⽤MediaProjection鐨⽅寮忚幏鍙栧睆骞曡棰戞祦銆傚叿浣撶殑浣⽤⽅娉...
绛旓細绗1绔: 鐫閲嶄簬鏁板瓧瑙嗛鍩虹鐭ヨ瘑銆佽壊褰╂ā寮忋佸垎杈ㄧ巼绛夛紝璁茶В浜嗛暅澶磋〃鐜版墜娉曞拰鐢靛奖钂欏お濂囨妧宸э紝浠ュ強闈炵嚎鎬х紪杈戠殑姝ラ鍜瑙嗛閲囬泦鍩虹鐭ヨ瘑銆傜2绔: 浠嶢fter Effects CS5鎿嶄綔鐣岄潰鍜屽父鐢ㄩ潰鏉垮叆鎵嬶紝浠嬬粛浜嗗弬鏁拌缃紝骞跺湪鏈珷缁撴潫鏃跺鎵瀛﹀唴瀹硅繘琛屼簡鎬荤粨銆傜3绔: 鐒︾偣鍦ㄤ簬椤圭洰鍚堟垚鐨勫垱寤轰笌绱犳潗绠$悊锛屽寘鎷」鐩枃浠舵搷...
绛旓細鐩綍 鍩虹绡 1Premiere CS5鍏ラ棬 1.1鏁板瓧瑙嗛鍩虹鐭ヨ瘑 1.2Premiere CS5鐨勫伐浣滅晫闈 1.3Premiere CS5鐨勫奖鐗囧埗浣滄祦绋 1.4鍓緫褰辩墖鈥
绛旓細鍦ㄥ姩鐢昏璁″疄璁」鐩腑锛屽涔犺呭皢娣卞叆鎺㈢储瑙嗗惉璇█涓庤瑙夎壓鏈殑绮鹃珦锛屾彁鍗囧褰卞儚鐨勫缇庨壌璧忚兘鍔涖傝绋嬮鍏堜粙缁瑙嗛閲囬泦涓庤緭鍑虹殑鍩虹鐭ヨ瘑锛岃浣犳帉鎻′粠鎷嶆憚鍒板埗浣滅殑鍩烘湰娴佺▼銆傛帴鐫锛屼綘灏嗙啛鎮夎嫻鏋滄満鎿嶄綔绯荤粺锛岃繖鏄繘琛屽奖瑙嗗悗鏈熷埗浣滀笉鍙垨缂虹殑骞冲彴銆傞氳繃鍚庢湡瑁佸壀椤圭洰瀹炶返锛屼綘灏嗗浼氬浣曠簿鍑嗗湴璋冩暣鍜屼紭鍖栬棰戝唴瀹广傚...
绛旓細浠ヤ笅鏄珮鑱岄珮涓撹绠楃郴鍒楄鍒掓暀鏉愩夾fter Effects瑙嗛鐗规晥瀹炵敤鏁欑▼銆嬬殑閮ㄥ垎鐩綍鍐呭锛岃缁嗕粙缁嶄簡杞欢鐨鍩虹鐭ヨ瘑鍜屽叧閿姛鑳姐傜1绔狅紝鏍囬涓"Affter Effects 7.0瑙嗛鍩虹鍙婃柊澧炲姛鑳"锛岄鍏堟杩颁簡After Effects 7.0鐨勫熀鏈姛鑳斤紝鍖呮嫭鍒涙柊鐨勭敤鎴风晫闈紝鏂扮殑鏇茬嚎缂栬緫鍣紝鏀寔鐨勬洿澶氭枃浠舵牸寮忥紝鑷姩璺熻釜鎶鏈紝杈撳嚭Flash...
绛旓細澹伴煶鍩虹鐭ヨ瘑锛堥」鐩1锛夛紝澹伴煶鏂囦欢鏍煎紡锛堥」鐩2锛夛紝澹伴煶绱犳潗鑾峰彇锛堥」鐩3锛夛紝浠ュ強浣跨敤褰曢煶杞欢锛堥」鐩4锛夊拰Gold Wave锛堥」鐩6锛夈傝棰戠紪杈戝鐞嗗寘鎷細瑙嗛閲囬泦锛堥」鐩1锛锛岃棰鍓緫锛堥」鐩2锛夛紝鍘嬬缉杈撳嚭鎶鏈紙椤圭洰3锛夛紝浠ュ強甯歌鏍煎紡锛堥」鐩4锛夊拰DV鍓緫杞欢锛堥」鐩5锛夈傛渶鍚庯紝婕旂ず鏂囩鍒朵綔鏄繀澶囨妧鑳斤細PowerPoint 2003...
绛旓細銆婂叏瑙嗛Premiere Pro CS4瓒呯骇鎵嬪唽銆嬫槸涓閮ㄨ灏界殑鎸囧崡锛屼笓涓烘兂瑕佹繁鍏ヤ簡瑙f暟瀛楄棰戠紪杈戠殑璇昏呯簿蹇冩墦閫犮傚畠璇︾粏娑电洊浜哖remiere Pro CS4鐨勫悇涓叧閿幆鑺傦紝浠庣1绔犵殑鍩虹鐭ヨ瘑寮濮嬶紝閫愭娣卞叆鍒拌蒋浠堕璁俱瑙嗛閲囬泦鍜岀紪杈戠瓑17涓富棰樸備功涓笉浠呮湁鐞嗚璁茶В锛屾洿鏈夊疄闄呮搷浣滅殑绀鸿寖妗堜緥锛岃瀛︿範杩囩▼鏇翠负鐩磋銆傞檮璧犵殑鍏夌洏鏇...
绛旓細浠ヤ笅鏄缃戠粶瑙嗛鍒朵綔鎶鏈浘涔︾殑绠浠嬶紝璇ヤ功鍏卞垎涓12涓缁嗙珷鑺傦紝鍐呭涓板瘜涓旂粨鏋勪弗璋紝鏃ㄥ湪閫愭寮曞璇昏呯悊瑙e拰鎺屾彙缃戠粶瑙嗛鍒朵綔鐨勭浉鍏鐭ヨ瘑銆傞鍏堬紝涔︾睄浠庣綉缁滆棰戞妧鏈殑鍩虹鐞嗚寮濮嬶紝娣卞叆娴呭嚭鍦拌瑙o紝纭繚璇昏呭鍩烘湰姒傚康鏈夋竻鏅扮殑鐞嗚В銆傛帴鐫锛屼笓绔犱粙缁嶄簡Adobe Premiere鍙婂叾鐩稿叧宸ュ叿锛屽寘鎷浣曞垵璇哖remiere 6.5锛...
绛旓細濡傛灉鎮ㄦ鍦ㄥ鎵句竴鏈叏闈㈡繁鍏ョ殑Premiere Pro CS4鏁欑▼锛岄偅涔堛婂叏瑙嗛Premiere Pro CS4瓒呯骇鎵嬪唽銆嬫棤鐤戞槸鎮ㄧ殑鐞嗘兂閫夋嫨銆傝鎵嬪唽璇﹀敖鍦板墫鏋愪簡鏁板瓧瑙嗛缂栬緫鐨勫叏杩囩▼锛屼粠鍩虹鐭ヨ瘑寮濮嬶紝閫愭璁茶В杞欢棰勮銆瑙嗛閲囬泦銆佺紪杈戠瓑鍏抽敭鐜妭銆傚叏涔﹀垎涓17涓珷鑺傦紝姣忎釜绔犺妭閮界簿蹇冭璁★紝鏃ㄥ湪甯姪璇昏呭揩閫熺悊瑙e拰鎺屾彙Premiere Pro CS4...
绛旓細瑙嗛鍒朵綔鐨勫熀鏈娴佺▼濡備笅锛氫竴锛氬噯澶囩礌鏉愭枃浠朵緷鎹叿浣撶殑瑙嗛鍓ф湰浠ュ強鎻愪緵鎴栧噯澶囧ソ鐨勭礌鏉愭枃浠讹紝鍙互鏇村ソ鐨勭粍缁囪棰戠紪杈戠殑娴佺▼銆傜礌鏉愭枃浠跺寘鎷細閫氳繃閲囬泦鍗¢噰闆嗙殑鏁板瓧瑙嗛AVI鏂囦欢锛岀敱Adobe Premiere鎴栧叾浠栬棰戠紪杈戣蒋浠剁敓鎴愮殑AVI鍜孧OV鏂囦欢銆乄AV鏍煎紡鐨勯煶棰戞暟鎹枃浠躲佹棤浼撮煶鐨勫姩鐢籉LC鎴朏LI鏍煎紡鏂囦欢锛屼互鍙婂悇绉嶆牸寮忕殑闈欐佸浘鍍...