??圖像修復(fù)是一種計(jì)算機(jī)視覺技術(shù)，其中可以填充圖像中缺少的像素。它通常用于從圖像中刪除不需要的對象或重新創(chuàng)建被遮擋的圖像的缺失區(qū)域。修復(fù)是預(yù)測缺失圖像數(shù)據(jù)的常用工具，但是以逼真的，連貫的方式合成缺失像素是一項(xiàng)挑戰(zhàn)。



東京大學(xué)的研究人員提出了一種基于頻率的修復(fù)方法，該方法可以同時使用頻率和空間信息來生成缺失的圖像部分。Hiya Roy等人在《電子成像雜志》（JEI）上發(fā)表?！癐mage inpainting using frequency domain priors”中詳細(xì)介紹了該技術(shù)。當(dāng)前的方法在學(xué)習(xí)過程中僅采用空間域信息，這可能會使內(nèi)部重建的細(xì)節(jié)丟失，從而導(dǎo)致僅估計(jì)原始補(bǔ)丁的低頻部分。為了解決該問題，研究人員研究了基于頻率的圖像修復(fù)，并證明了在頻域中將修復(fù)轉(zhuǎn)換為反卷積可以預(yù)測缺失圖像區(qū)域的局部結(jié)構(gòu)。



CelebA數(shù)據(jù)集上不同圖像修復(fù)方法的語義特征完成結(jié)果的視覺比較。



a）輸入具有缺失區(qū)域的圖像，b）作者的反卷積網(wǎng)絡(luò)進(jìn)行的第一階段重構(gòu)的DFT，c）擬議方法的圖像修復(fù)結(jié)果（第二階段之后），以及d）地面真實(shí)（GT）圖像。最后一列顯示了通過新方法獲得的缺失區(qū)域的預(yù)測以及GT圖像中相同區(qū)域的原始像素值。



羅伊說，頻域信息包含豐富的表示形式，使網(wǎng)絡(luò)能夠以比僅使用空間域信息的傳統(tǒng)方式更好的方式執(zhí)行圖像理解任務(wù)。因此，在這項(xiàng)工作中，我們嘗試通過使用頻域和空間域信息來訓(xùn)練網(wǎng)絡(luò)來實(shí)現(xiàn)更好的圖像修復(fù)性能。



歷史上，圖像修復(fù)算法分為兩大類?；跀U(kuò)散的圖像修復(fù)算法嘗試將圖像的外觀復(fù)制到缺失區(qū)域中。這種方法可以很好地填充小孔，但是結(jié)果的質(zhì)量會隨著孔大小的增加而降低。第二類是基于補(bǔ)丁的修補(bǔ)算法，該算法在圖像中尋找最合適的補(bǔ)丁以填充缺失的部分。此方法可以填充較大的孔，但對圖像的復(fù)雜或獨(dú)特部分無效。



這項(xiàng)研究的獨(dú)創(chuàng)性在于作者在去卷積網(wǎng)絡(luò)的修復(fù)的第一階段就使用了頻域表示，即通過快速傅里葉變換獲得的圖像頻譜。波爾多大學(xué)，JEI高級編輯表示，這產(chǎn)生了捕獲圖像結(jié)構(gòu)元素的粗糙修復(fù)結(jié)果。然后，通過GAN網(wǎng)絡(luò)在像素域中完成了改進(jìn)。在所有質(zhì)量指標(biāo)（PSNR，SSIM和L1）上，他們的方法都優(yōu)于最新技術(shù)。



Roy及其同事表明，在頻域中進(jìn)行反卷積可以使用來自圖像的上下文來預(yù)測圖像結(jié)構(gòu)的缺失區(qū)域。在第一階段，他們的模型使用頻域信息學(xué)習(xí)上下文，然后重建高頻部分。在第二階段，它使用空間域信息來指導(dǎo)圖像的配色方案，然后增強(qiáng)在第一階段中獲得的細(xì)節(jié)和結(jié)構(gòu)。結(jié)果是更好的修復(fù)效果。



Roy等人說，實(shí)驗(yàn)結(jié)果表明，通過生成更清晰的細(xì)節(jié)和感知上逼真的修復(fù)效果，我們的方法可以在具有挑戰(zhàn)性的數(shù)據(jù)集上取得比最新技術(shù)更好的結(jié)果。 根據(jù)我們的經(jīng)驗(yàn)結(jié)果，我們認(rèn)為同時使用頻率和空間信息的方法應(yīng)具有優(yōu)勢，因?yàn)樗鼈兙哂袃?yōu)越的性能。