技術解析！視頻一鍵Roto真實現了？

AI修圖，好像最早是PS推出的一個功能：內容感知。後來NVIDIA研究人員開發了一個更厲害的軟件演示，可以說“一鍵修圖”。在圖上把不需要的物體隻要抹一下，算法就會自動填補抹掉物體空白處，而且融合還相當可以。視頻一鍵Roto真實現了？一起來看今天這篇技術解析！

很多小夥伴說，這隻是圖片，如果是視頻那才真正的厲害。如果有這樣的技術，Roto工作效率會大大提高。哎？這次真的來了。研究人員本著“隻要你敢想，我就給你研發原則”真的做出來了。來，看動圖！

這裏要強調的是不僅僅扣除了人還要包括陰影區域，而且輪廓也要從鏡頭中消失。看見上圖了麼？就是這麼Niubility！讓我們看看其他一些例子。

如果單獨修複一張圖，這遠遠不是研究人員的追求，所以要換成視頻也必須看起來非常完美才可以。

可是因為時間連貫性的要求，視頻的處理是非常的難。針對這個問題自弗吉尼亞大學和Facebook的研究團隊四位大佬Chen Gao, Ayush Saraf, Jia-Bin Huang和Johannes Kopf發表了一篇論文《Flow-edge Guided Video Completion》翻譯過來應該是《光流邊緣引導視頻算法》。

論文介紹是這樣說的：

“我們提出了一個新的基於光流的視頻修複算法。之前的光流修複算法通常無法保持運動邊界的銳度。我們的方法首先提取並完成運動邊緣，然後利用運動邊緣來引導具有銳邊的分段光滑流補全。現有的方法在相鄰幀之間的局部光流連接之間傳播色彩。然而，並不是視頻中所有缺失的區域都可以用這種方法進行恢複，因為運動的邊界形成了不可逾越的障礙。我們的方法通過相隔較遠的幀之間的全局光流(non-local flow)連接減輕了這個問題，允許在運動邊界上傳播視頻內容。我們在DAVIS數據集驗證了我們的方法，視覺和定量結果都表明，我們的方法優於最先進的算法。”

實現方法概述：

那過程到底是如實現的呢？喏，都在下麵這張模型圖裏了。

過程大致是這樣的：首先，輸入一個要修複的視頻和一個二進製掩碼視頻，大概意思就是要告訴算法哪些部分需要合成。

然後算法開始計算正向和反向流以及一組非相鄰幀，補全這些流場中的缺失區域。

紅線部分是神經網絡自己補充出來的邊緣

接著用流邊緣來引導視頻中被水印/人物擋住的缺失區域的修複。

完事後，沿著流的軌跡為每個丟失像素傳播一組候選像素。從鏈接前向和後向的流向量得到兩個候選點，直到到達一個已知像素。

彩色文字

上圖中，綠色區域代表缺失部分；黃色、橙色和棕色線分別代表：第一個非局部幀、當前幀和第三個非局部幀的掃描線。

通過跟蹤流動軌跡（黑色虛線）達到缺失區域的邊緣，可以獲得圖中藍色像素的局部候選對象。但由於人腿部運動形成的流動遮擋，計算紅色像素點的候選像素就有些困難了。這裏研究人員引入非相鄰幀的非局部光流後，紅色像素點就得到了額外的非局部領域（黃線和棕線上的紅色像素點），然後就還原了被腿部遮擋的真實背景。

然後，再在梯度域中，使用置信加權平均值（A Confidence-weighted Average）將每個缺失像素的候選像素與有效候選像素進行融合以便重建顏色。

最後將整個過程不斷迭代，並將結果傳播到視頻的其餘部分，直到沒有缺失像素為止。

是不是驚呆了？這樣的技術如果能應用在我們CG行業的Roto上簡直瘋狂的不要不要的，效率得提高多少！！希望這個技術能盡快應用到實際項目中，哈哈，就不用一幀一幀摳圖啦！

來源：CG世界