无人机视频全景拼接，移动物体检测和追踪
近年来，无人驾驶飞行器（UAV）在许多领域得到越来越广泛的应用。通过无人机航拍视频，可以方便地获取更多的静态和动态信息，掌握现场情况。帧配准、全景图像拼接、运动目标检测和跟踪是航拍视频分析处理的关键和基础。首先，我们使用 l_q-estimation 方法去除异常值并稳健地匹配特征点。然后我们利用移动直接线性变换 (MDLT) 方法更准确地找到帧的单应性，并将帧序列拼接成全景图。最后，我们在扭曲的帧上应用 5 帧差分方法来检测运动对象，并使用长期视觉跟踪方法在复杂场景中跟踪感兴趣的对象。与有人驾驶飞机相比，无人机更小、更轻、更便宜，更适合执行危险任务。搭载视觉传感器的小型无人机是反恐、交通监控、救灾、战场监视等的理想平台。全景图像拼接、运动物体检测和跟踪是完成这些任务的关键技术。由于平台的运动，除了前景物体外，背景也在运动，因此背景的运动补偿是无人机航拍视频分析处理的必要步骤。背景运动补偿模块接收后对视频帧进行注册并生成相应的对齐图像，可以将帧序列拼接在一起以生成全景图以掌握整体信息。此外，可以通过帧减法检测运动物体，并通过跟踪模块跟踪感兴趣的物体。在本文中，我们首先提取相邻帧的 Harris 特征，然后介绍一种基于异常值去除和稳健特征匹配的 - 估计器，之后，利用 MDLT 方法找到帧的单应性。根据单应性，帧被注册并补偿平台的自我运动，并且全景由帧序列拼接。最后，使用5帧减法完成运动物体检测，并通过基于相关滤波器的视觉跟踪算法跟踪感兴趣的物体。
图像配准是利用匹配策略在两幅图像中找到对应特征点的正确位置，然后得到两幅图像之间的单应性进行配准。本文的图像配准算法包括几个部分：Harris特征点的提取和描述，用于稳健特征匹配的 - 估计器，用于估计单应性的 MDLT 方法。首先从两幅图像中提取和描述特征点，得到匹配点，然后去除离群点，对特征进行鲁棒匹配 - 估计器。最后，我们使用MDLT方法对满足图像不同部分的单应性进行加权估计，得到准确的投影模型参数来配准图像帧。
对于要匹配的图像对，我们执行Harris等特征匹配方法来确定N个初始匹配对应关系：
其中 ， 是匹配特征点的二维坐标， 如果是内点，则满足以下关系：
变换 可用 对内点匹配对最小二乘估计：
但这些点可能存在异常值，应去除异常值以正确估计变换。目前的方法通常使用两步策略或假设和验证技术（如RANSAC）来解决问题，这些方法总是非常耗时甚至无法得到合理的结果。
基于鲁棒性的特征匹配方法 -估计器直接估计与异常值的初始对应关系的转换。为了将残差向量自动分类为异常值集和内部值集，经典最小二乘损失函数对异常值敏感。 范数适合解决这样的问题，但由于观察中包含噪声，因此不可靠。通常情况下 范数被改编为最接近的凸松弛 正则化进行权衡。 估计器对于特征匹配更加健壮和有效。损失函数是
其中 是 范数的操作符。
将通过对初始特征点应用全局变换来去除异常值。
对于低空航拍视频，帧之间的视图不完全因旋转不同，也不完全是平面场景，使用基本单应扭曲不可避免地会产生错位或视差错误。Julio Zaragoza等提出的APAP(As-Projective-As-Possible)图像拼接方法假设图像的细节满足不同的单应性，并使用位置相关单应性来扭曲每个像素，使用MDLT加权估计单应性方法，可以减轻未对准和视差误差的影响。
直接线性变换（DLT）是从一组噪声点匹配中估计单应性的基本方法。将单应矩阵向量化为向量后，只有两行线性无关，令 为第 个点匹配计算的 LHS 矩阵的前两行。对所有 垂直堆叠 到矩阵A。
那么优化目标是
整个图像只使用一个单应性重建 用于翘曲。
通过从加权问题估计单应性来改进MDLT方法，
权重 给更接近 的第 个点匹配给予更高的重要性。
为了防止估计中的数值问题，他们用一个在0和1之间的小值 来抵消权重。
计算每个像素的单应性是不必要的浪费。因此，我们将图像均匀地划分为多个单元格的网格，并将每个单元格的中心作为 。
将航拍视频帧全景拼接后，就可以得到大尺度场景的静态图像，掌握整体信息。
首先，我们使用单应性扭曲要拼接的两个帧，将像素映射到全景中的位置，依次拼接帧，然后融合两个扭曲的图像以避免在接缝线附近出现正面差异。通常，相邻帧的重叠率，在实际应用中，我们根据移动速度选择一定时间间隔的帧进行拼接，可以降低计算复杂度。对于较早的拼接图像，我们只选择最后一帧而不是整个拼接图像来提取特征点，也是为了计算速度。
对于对齐的帧，采用改进的5帧差分法检测运动目标。传统的3帧差分法可以检测出物体的基本轮廓，但轮廓总是不连续的，物体的重叠不易检测。根据帧差分法的理论，通过多帧差分的信息融合可以用于提取更完整的运动对象。5帧差分法可以部分克服3帧差分法的不足。对于相邻的 5 个帧 ，我们首先使用中值滤波器去除椒盐噪声，然后分别对中间帧和其他4帧进行差分运算。结果如下：
在对差分结果进行滤波后，我们引入Otsu动态阈值分割方法获得二值图像，然后使用“与”操作来抑制对象重叠问题。
然后我们在 和 上使用“或”操作以避免在对象轮廓中带来孔洞。
二值图像也可能有噪声和小孔，这可能会导致错误的对象边界框。最后，可以通过形态学腐蚀和膨胀来掩盖运动物体区域，去除噪声并填充孔洞，从而获得物体的位置和尺度。
运动物体检测步骤会检测到多个物体区域，我们只选择一个感兴趣的目标，使用基于相关滤波器的长期视觉跟踪算法对所选物体进行跟踪，以获得目标的位置和尺度。实时对象。跟踪器由检测操作中检测到的边界框初始化。
基于相关滤波器的长期视觉跟踪算法在核相关滤波器跟踪器的框架下，集成了定向梯度直方图、颜色命名和强度，创建了鲁棒的对象外观模型。在随后的帧中，可以通过分别最大化平移滤波器和尺度滤波器的相关性分数来估计对象的新位置和尺度，并通过新的位置和尺度更新滤波器。同时，我们实时检测跟踪状态，并在跟踪失败的情况下使用在线CUR过滤器重新检测对象。该算法对于长期视觉跟踪的复杂场景具有鲁棒性。跟踪流程图如图1所示。
实验中的数据集选自DARPA提出的身份视频验证（VIVID）公共数据集中的航拍视频数据。这些数据集包括纹理较少和纹理良好的视频的背景。我们为我们的实验选择了两个典型的视频egtest01和egtest05。分辨率为640x480，帧率为30fps。实验在MATLAB R2016a 中实现，在 Intel Core i5-7300HQ、2.5GHz CPU、8GB RAM 计算机上。
我们首先提取待配准的2帧中的Harris特征，利用描述符的欧氏距离进行粗匹配，然后使用 估计方法来去除异常值。最终匹配结果如图2所示。
从图2可以看出，无论是在纹理较少还是纹理良好的背景场景中，特征点都是均匀分布的，并且点主要集中在背景中，这有助于获得准确的配准结果。
我们使用MDLT方法根据匹配的特征点获得2帧的变换，然后对图像进行扭曲，对参考图像和扭曲图像进行拼接和融合。最后，将帧依次拼接在一起，得到如图3所示的全景图。
帧配准后，我们使用5帧差分法得到差分结果，然后去除细方噪声，做形态学运算得到物体区域，最后可以得到运动物体的位置和尺度区域的边界框，如图4所示。
跟踪算法可以在完全遮挡或视野外的情况下更新对象的比例并重新检测丢失的对象。图 5显示了不同帧中的跟踪结果。
我们已经开发了一些基于小型无人机平台的航空侦察关键图像处理算法的实现。算法包括注册视频帧，使用帧差异进行运动物体检测，将帧拼接成全景图，跟踪检测到的物体之一。实验结果表明，所提出的方法在纹理较少的背景和纹理良好的背景场景中都可以很好地进行配准、拼接、检测，以及在复杂场景中进行跟踪。
绛旓細720鍏ㄦ櫙浣滀负鎽勫奖浣滃搧鐨勪竴绉嶈〃鐜版柟寮忥紝浠ュ叾澶氳搴︺佸叏鏂逛綅灞曠ず鎵鎷嶆櫙鐗╄屽彈鍒颁汉浠殑鍠滄锛屽簲鐢ㄧ殑鑼冨洿涔熸洿鍔犲箍娉涖傚姝わ紝浣滀负涓鍚嶉暱鏈熼珮鐑т笉閫鐨勬憚褰辩埍濂借呬篃灏濊瘯鐫鐢鏃犱汉鏈瀵硅繖涓鏂扮殑琛ㄧ幇褰㈠紡杩涜鎺㈢储锛岀幇灏嗚嚜宸叉媿鎽勫叏鏅殑涓浜涘啓鍑烘潵涓庡ぇ瀹朵竴璧峰垎浜氦娴併傜涓锛岄夋嫨鎷嶆憚鐩爣骞惰鏌ュ懆杈归珮澶у缓绛戠墿鍙婄數绾跨瓑浠...
绛旓細鍚堟垚鐨勭収鐗囧彧浼氬瓨鍦ㄦ墜鏈烘湰鍦帮紱鑻ュ崟鐙娇鐢ㄥ彛琚嬬伒鐪告媿鎽鍏ㄦ櫙鐓х墖锛氬湪 DJI Mimo app 鍥炴斁鐣岄潰鏃讹紝鑻ユ墜鏈烘湰鍦版病鏈夊悎鎴愬悗鐨勫叏鏅収鐗囷紝鍙互鐐瑰嚮閲嶆柊涓嬭浇鍚堟垚鍏ㄦ櫙鐓х墖锛涜嫢浣跨敤 DJI GO/DJI GO 4 鎷嶆憚鍏ㄦ櫙锛氭墦寮 app 鍥炴斁锛岀収鐗囪嚜鍔ㄥ悎鎴愶紱鎮ㄤ篃鍙互瀵煎嚭鍘熺墖锛岄氳繃 PS 绛夊伐鍏峰畬鎴愬叏鏅殑鎷兼帴銆
绛旓細鏃犱汉鏈烘槸鏃犳硶鎷嶆憚鍏ㄦ櫙鐓х墖鐨锛屾棤浜烘満鍙兘鎷嶆憚鍚堟垚鍏ㄦ櫙鐓х墖鎵闇瑕佺殑绱犳潗鐓х墖銆傛鍥炵瓟灏变笉鎺㈣濡備綍鎿嶄綔鏃犱汉鏈轰簡锛岀洿鎺ヨ繘鍏ヤ富棰樸傞鍏堟槸鎷嶆憚銆傞涓诲湪杩涜鎷嶆憚鍓嶄竴瀹氳鐭ラ亾锛屼粈涔堟槸浜戝彴瑙掑害銆備竴鑸簯鍙伴粯璁よ搴﹂兘鏄0搴︼紝褰撲簯鍙板鍑嗘涓嬫柟鏃讹紝姝ゆ椂浜戝彴瑙掑害涓-90搴︺傚ソ锛岀悊瑙ｄ簡浠涔堟槸浜戝彴瑙掑害涔嬪悗锛屾媿鎽勫叾瀹炲氨鍙樻垚...
绛旓細1銆侀鍏堟墦寮vr婕父杞欢锛屾柊寤烘极娓稿伐绋嬶紝娣诲姞鍏ㄦ櫙鍥惧満鏅2銆佸叧鑱斿悇涓満鏅紝鍦ㄥ満鏅噷璁剧疆鍒濆瑙嗚銆佹坊鍔犵櫨搴﹀湴鍥俱佸钩闈㈠浘銆佸満鏅粙缁嶆枃瀛楃瓑銆3銆佸湪鍦烘櫙閲屾坊鍔犱綘闇瑕佺殑鍚勭绫诲瀷鐨勭儹鐐癸紝鍙互娣诲姞鍦烘櫙鍒囨崲鐑偣銆佹枃瀛椼佸浘鐗囥侀煶涔愩瑙嗛銆3D妯″瀷绛夈4銆佸埗浣滃ソVR鍏ㄦ櫙婕父涔嬪悗锛屾鏌ヤ竴涓嬪悇涓満鏅殑鍏宠仈鏄惁鍋氬ソ锛屽氨...
绛旓細1銆鏃犱汉鏈鍗囧埌涓瀹氶珮搴︺傝繖涓珮搴﹂夊湪娌℃湁寤虹瓚鐗╅伄鎸¤绾垮拰鑳藉畬鏁村睍鐜版媿鎽勪富浣撶殑骞宠 鐐癸紝涓鑸50鈥100m涓哄疁銆2銆佸皢鏃犱汉鏈虹殑浜戝彴瑙嗚璁剧疆涓烘按骞炽傛帶鍒舵按骞虫棆杞搷绾垫潌杩涜椤烘椂閽堟垨閫嗘椂閽360搴︽棆杞紝姣忔棆杞45搴︽媿鎽勪竴寮犵収鐗囷紝淇濊瘉姣忎袱寮犵収鐗囦箣闂存湁20%鐨勫湴鏂规槸閲嶅悎鐨勶紝鏂归潰鍚庢湡鎷兼帴銆3銆佸皢鏃犱汉鏈轰簯鍙拌瑙...
绛旓細闅忓悗澶寸洈涓皢浼氭挱鏀3D瑙嗛鍐呭,鍙﹀瀹冪‘瀹炰篃鑳藉涓虹敤鎴锋彁渚3D鍏ㄦ櫙360掳瑙嗛銆佹父鎴,骞朵笖鑳藉鎺у埗鏃犱汉鏈绛夎澶囥備笉杩,杩欐牱鐨勮澶囧彂灞曞埌鐜板湪, 浜у搧鍔熻兘璺烿R澶寸洈鐩告瘮,瀹炲湪鏄潪甯告湁闄愩傞殢鐫AR銆乂R鎶鏈殑涓嶆柇鎴愮啛,瓒婃潵瓒婂鐨勭幇瀹炲満鏅拰铏氭嫙鍦烘櫙寮濮嬪疄鐜颁簡铻嶅悎浜掗,鏈潵鎴戜滑灏嗚兘澶熺湅鍒版洿澶氱殑鍦烘櫙涓紑濮嬪埄鐢ㄨ繖涓ら」鎶鏈傛垜浠...
绛旓細鍜岄┚椹惰溅杈嗕竴鏍凤紝 璁稿鎰忓浜嬫晠鍏跺疄閮芥簮浜庡缁嗚妭鐨勫拷瑙嗐傚仛濂戒互涓嬭繖浜涳紝浣犱篃鑳芥垚涓鸿侀鎵嬨1. 娉ㄦ剰椋炶鐜 閫夋嫨绌烘椃銆佹棤骞叉壈銆佹棤閬尅鐨勭幆澧冨拰鍚堥傜殑澶╂皵銆傝繙绂讳細骞叉壈鎸囧崡閽堬紙寮虹鍦恒侀噾灞炵墿锛夊拰閬尅閬ユ帶淇″彿锛堝瘑闆嗗缓绛戠墿锛夌殑鍗遍櫓鍒嗗瓙銆2. 璧烽鍓嶈繑鑸缃 璧烽鍓嶏紝璁剧疆濂借繑鑸珮搴︺傜‘淇 GPS 淇″彿杈 4...
绛旓細5G涓氬姟銆5G缃戠粶涓嬮粩鐏靛叕鍥佽寘鍙伴厭涓氱瓑鍏ㄦ櫙銆鏃犱汉鏈瀹炴椂鐢婚潰鍚屾灞曟紨锛屼互鍙4K楂樻竻鐩存挱杩滅▼瑙嗛浼氳绛夛紝杩樺彲浠ヨ鐪120鎬ユ晳杞︿笂鐨勮繙绋嬪尰鐤椼绉诲姩浼氳瘖绛5G搴旂敤鍦烘櫙銆傚湪楂橀棰嗗煙锛岀編鍥藉拰闊╁浗鎶鏈崰鏈夊害鏇撮珮锛屼腑鍥借櫧鐒跺湪杩欐柟闈㈢殑浜ф潈鍜岃瘽璇潈鏈変簡鐩稿簲鐨勬彁鍗囷紝浣嗙浉瀵逛粛鏃ц緝寮憋紝鍥犱负鏈夌嚎鍣ㄤ欢绛夋柟闈笉鏄緢鐞嗘兂锛屽寘鎷...
绛旓細鍏ㄦ櫙鍒朵綔澶ф鍙互鍒嗕负涓変釜閮ㄥ垎锛堝唴瀹规潵鑷叿闆锋浖瀹樼綉锛夌礌鏉愰噰闆嗘柟寮忥細鐩墠鍏ㄦ櫙鎷嶆憚鍥剧墖鐨勬柟寮忔湁涓ょ锛屼竴绉嶆槸鍦伴潰涓婂钩瑙嗘媿鎽勶紝涓绉嶆槸鑸媿銆傛垜浠埅鎷嶅叏鏅収鐗囷紝鐩墠涓昏浣跨敤鏃犱汉鏈猴紝鎴戜滑浣跨敤鍩轰簬DJI SDK鐨勭涓夋柟杞欢杩涜鑷姩鎷嶆憚锛岄氬父闇瑕佹媿鎽24-28寮犲浘鐗囪繘琛屾嫾鍚堬紝姣忎釜瑙掑害鎷嶆憚鐓х墖闇瑕佹湁閲嶅悎鍖哄煙銆備负浜嗛伩鍏嶆湁鐨...
绛旓細澶х枂Mini3Pro鏃犱汉鏈鏈杩戣繘琛屼簡澶氶」鏇存柊锛屽叾涓寘鎷細-鏂板浜嗏滀竴閿煭鐗団濆姛鑳斤紝鍙互閫氳繃鎵嬪娍鎺у埗鎷嶆憚瑙嗛銆-鏂板浜嗏滄櫤鑳借窡闅忊濆姛鑳斤紝鍙互鑷姩璺熼殢椋炶鐗╀綋銆-鏂板浜嗏鍏ㄦ櫙妯″紡鈥濓紝鍙互鎷嶆憚鏇村箍闃旂殑鍦烘櫙銆-鏂板浜嗏滄椂闂存祦閫濃濆姛鑳斤紝鍙互鍦ㄨ棰戜腑娣诲姞鍔ㄦ佹晥鏋溿-浼樺寲浜嗛仴鎺у櫒鐨勮繛鎺ラ熷害鍜岀ǔ瀹氭с
