本文經(jīng)AI新媒體量子位（公眾號ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。

男子騎自行車，越過沙丘，無影無蹤，目擊者稱就消失在眼前：

因擊球過猛，網(wǎng)球運動員攜球拍共同湮滅：

男大學生熱愛徒步運動，進入深山戈壁后失蹤：

白色面包車離奇消失，查遍監(jiān)控攝像頭均未發(fā)現(xiàn)蹤影：

妙齡少女廣場起舞，光天白日下原地消失不知去向：

中學男生周末蕩秋千，飛到半空只剩秋千椅，家長稱1秒前孩子還安然無恙：

馬術(shù)選手騎馬越過柵欄后人馬雙雙消失，網(wǎng)民懷疑任意門現(xiàn)世：

帆船選手出海后離奇失蹤，主辦方搜尋后仍未獲蹤影：

詭異的現(xiàn)象，讓人懷疑視頻中使用了和九又四分之三站臺同樣的魔法。

沒錯，這就是今年ECCV上最神奇的AI隱身衣技術(shù)。

讓網(wǎng)友們驚嘆，此情此景堪稱滅霸。

甚至開始擔心，如果這個技術(shù)被小偷用上，家具都會“飄走”。

也有外國網(wǎng)友開心，覺得可以用來屏蔽廣告，很不錯。

這件隱身衣，究竟是怎么創(chuàng)造出來的？

基于光流邊緣引導的視頻補全算法

AI這種完美去水印、刪人物的「隱身」超能力，實際上是一種基于光流的視頻修復算法。

此前，量子位就曾經(jīng)介紹過港中大商湯聯(lián)合實驗室和南洋理工大學的光流引導視頻修復算法。

不過，以往的基于光流的方法往往無法保留運動邊界的銳度，使得修復后的畫面不夠平滑。

另外，由于此前的方法是在相鄰幀之間的局部光流連接中傳播色彩，但并非所有視頻中被水印、物體遮住的區(qū)域都可以通過這種方式恢復，就會造成偽影。

為了解決這些問題，來自弗吉尼亞大學和Facebook的研究團隊主要采取了以下三種方法：

分段平滑流補全（Piecewise-smooth flow completion） 非局部流連接（Non-local flow neighbors） 無縫融合（Seamless blending）

具體而言，首先，網(wǎng)絡(luò)的輸入包括待修復的視頻本身，和一個二進制掩碼視頻，用以指明哪些部分需要算法合成。

然后，計算相鄰幀之間的光流，以及一組非相鄰幀之間的光流，提取并補完流的邊緣。下圖中紅線部分，即為神經(jīng)網(wǎng)絡(luò)“腦補”出來的邊緣。

接著用流邊緣來引導視頻中被水印/人物擋住的缺失區(qū)域的修復。

下一步，是按照光流的軌跡，為每個缺失的像素計算出一組候選像素。每個候選像素都有一個對應的置信度分數(shù)和一個二進制有效性指標。

以上圖為例，綠色區(qū)域為缺失的部分，黃線、橙線和棕線分別代表第一非局部幀、當前幀和第三非局部幀的掃描線。

可以看到，通過跟蹤光流軌跡（黑色虛線），圖上藍色的像素點的候選像素被計算了出來。但由于人腿的運動形成了遮擋，計算紅色像素點的候選像素就出現(xiàn)了困難。

但在引入非相鄰幀的非局部光流后，紅色像素點就得到了額外的非局部領(lǐng)域（黃線和棕線上的紅色像素點），由此，就可以計算出被人腿遮擋的真實背景。

然后，再在梯度域中，使用置信度加權(quán)平均，融合每個缺失像素點的候選對象以重建顏色。

最后，迭代這個過程，直到?jīng)]有缺失像素為止。

實驗結(jié)果：SOTA

從視覺效果上來說，這只AI的隱身大法修煉得十分成功。

與Diffusion和商湯的徐瑞等人的算法相比，新方法提供了更為清晰的運動邊界，效果更加平滑。

那么定量對比的結(jié)果又如何呢？直接來看數(shù)據(jù)。

在DAVIS數(shù)據(jù)集上，研究人員將該方法與現(xiàn)有方法進行對比，比較了水印之類的靜止對象和運動對象兩類合成掩碼的視頻補完結(jié)果。

結(jié)果顯示，新方法在各項指標上都達到了最佳性能。

關(guān)于作者

這件酷炫的AI隱身衣，由弗吉尼亞理工大學和Facebook打造。

一作是弗吉尼亞理工大學的三年級博士生Chen Gao。他的研究方向是計算攝影和計算機視覺，師從弗吉尼亞理工大學助理教授Jia-Bin Huang。

這項工作是他在Facebook實習期間完成。目前，他在谷歌擔任研究實習生。

作者還表示，會很快開源這件AI隱形衣的代碼，并放出在線Demo。

傳送門

項目地址：
http://chengao.vision/FGVC/

論文地址：
https://arxiv.org/abs/2009.01835