想象一下看一會(huì)兒繁忙的街道，然后嘗試勾畫(huà)出從記憶中看到的場(chǎng)景。大多數(shù)人都可以畫(huà)出汽車(chē)、人和人行橫道等主要物體的大致位置，但幾乎沒(méi)有人能夠以像素完美的精度畫(huà)出每個(gè)細(xì)節(jié)。大多數(shù)現(xiàn)代計(jì)算機(jī)視覺(jué)算法也是如此：它們非常擅長(zhǎng)捕捉場(chǎng)景的高級(jí)細(xì)節(jié)，但在處理信息時(shí)會(huì)丟失細(xì)粒度的細(xì)節(jié)。

據(jù)外媒報(bào)道，麻省理工學(xué)院（MIT）的研究人員創(chuàng)建出名為“FeatUp”的系統(tǒng)，可以讓算法同時(shí)捕獲場(chǎng)景的所有高級(jí)和低級(jí)細(xì)節(jié)——幾乎就像計(jì)算機(jī)視覺(jué)的激光近視手術(shù)一樣。

圖片來(lái)源：麻省理工學(xué)院

當(dāng)通過(guò)查看圖像和視頻來(lái)學(xué)習(xí)“看”時(shí)，計(jì)算機(jī)會(huì)通過(guò)稱為“特征”的東西建立對(duì)場(chǎng)景中內(nèi)容的“想法”。為了創(chuàng)建這些功能，深度網(wǎng)絡(luò)和視覺(jué)基礎(chǔ)模型將圖像分解為小方塊網(wǎng)格，并將這些方塊作為一個(gè)組進(jìn)行處理，以確定照片中發(fā)生了什么。每個(gè)小方塊通常由16到32個(gè)像素組成，因此這些算法的分辨率比它們處理的圖像要小得多。在嘗試總結(jié)和理解照片時(shí)，算法會(huì)損失大量像素清晰度。

FeatUp算法可以阻止這種信息丟失并提高任何深度網(wǎng)絡(luò)的分辨率，而不會(huì)影響速度或質(zhì)量。這使得研究人員能夠快速、輕松地提高新的或現(xiàn)有算法的分辨率。例如，想象一下嘗試解釋肺癌檢測(cè)算法的預(yù)測(cè)，以定位腫瘤。在使用類(lèi)激活圖（CAM）等方法解釋算法之前應(yīng)用FeatUp，可以根據(jù)模型產(chǎn)生腫瘤可能所在位置的更加詳細(xì)的（16-32x）視圖。

FeatUp不僅可以幫助從業(yè)者理解模型，還可以改進(jìn)一系列不同的任務(wù)，例如對(duì)象檢測(cè)、語(yǔ)義分割（為帶有對(duì)象標(biāo)簽的圖像中的像素分配標(biāo)簽）和深度估計(jì)。它通過(guò)提供更準(zhǔn)確、高分辨率的功能來(lái)實(shí)現(xiàn)這一目標(biāo)，這對(duì)于構(gòu)建從自動(dòng)駕駛到醫(yī)學(xué)成像等視覺(jué)應(yīng)用至關(guān)重要。

“所有計(jì)算機(jī)視覺(jué)的本質(zhì)都在于這些從深度學(xué)習(xí)架構(gòu)的深處出現(xiàn)的深層智能特征?，F(xiàn)代算法的巨大挑戰(zhàn)在于，它們將大圖像縮小為非常小的‘智能’特征網(wǎng)格，獲得智能見(jiàn)解，但失去了更精細(xì)的細(xì)節(jié)，”麻省理工學(xué)院計(jì)算機(jī)科學(xué)和人工智能實(shí)驗(yàn)室（CSAIL）附屬機(jī)構(gòu)電氣工程和計(jì)算機(jī)科學(xué)專業(yè)博士生、該論文的共同主要作者M(jìn)ark Hamilton表示。

“FeatUp有助于實(shí)現(xiàn)高度智能的表示與原始圖像的分辨率。這些高分辨率功能顯著提高了一系列計(jì)算機(jī)視覺(jué)任務(wù)的性能，從增強(qiáng)對(duì)象檢測(cè)和改進(jìn)深度預(yù)測(cè)到通過(guò)高分辨率分析更深入地了解網(wǎng)絡(luò)的決策過(guò)程?！?/p>

分辨率復(fù)興

隨著這些大型人工智能模型變得越來(lái)越普遍，越來(lái)越需要解釋它們?cè)谧鍪裁?、在看什么以及在想什么。但FeatUp究竟如何發(fā)現(xiàn)這些細(xì)粒度的細(xì)節(jié)呢？秘密就在于搖擺不定的圖像。

特別是，F(xiàn)eatUp會(huì)應(yīng)用微小的調(diào)整（例如將圖像向左或向右移動(dòng)幾個(gè)像素），并觀察算法如何響應(yīng)圖像的這些輕微移動(dòng)。這會(huì)產(chǎn)生數(shù)百個(gè)略有不同的深度特征圖，而這些圖又可以組合成一個(gè)清晰的、高分辨率的深度特征集。

“我們想象存在一些高分辨率特征，當(dāng)我們擺動(dòng)它們并模糊它們時(shí)，它們將與擺動(dòng)圖像中的所有原始低分辨率特征相匹配。我們的目標(biāo)是學(xué)習(xí)如何使用這個(gè)‘游戲’將低分辨率特征細(xì)化為高分辨率特征，”Hamilton表示。

這種方法類(lèi)似于算法通過(guò)確保預(yù)測(cè)的3D對(duì)象與用于創(chuàng)建3D對(duì)象的所有2D照片相匹配，從多個(gè)2D圖像創(chuàng)建3D模型。在FeatUp的例子中，研究人員預(yù)測(cè)了一個(gè)高分辨率特征圖，該特征圖與通過(guò)抖動(dòng)原始圖像形成的所有低分辨率特征圖一致。

該團(tuán)隊(duì)指出，PyTorch中提供的標(biāo)準(zhǔn)工具不足以滿足需求，因此引入了一種新型的深層網(wǎng)絡(luò)層，以尋求快速高效的解決方案。這種自定義層是一種特殊的聯(lián)合雙邊上采樣操作，其效率比PyTorch中的簡(jiǎn)單實(shí)現(xiàn)高100倍以上。

該團(tuán)隊(duì)還表明，這個(gè)新層可以改進(jìn)各種不同的算法，包括語(yǔ)義分割和深度預(yù)測(cè)。該層提高了網(wǎng)絡(luò)處理和理解高分辨率細(xì)節(jié)的能力，為所有算法（應(yīng)用該層）帶來(lái)了顯著的性能提升。

“另一個(gè)應(yīng)用是小對(duì)象檢索，我們的算法可以精確定位對(duì)象。例如，即使在雜亂的道路場(chǎng)景中，使用FeatUp豐富的算法也可以看到微小的對(duì)象，如交通錐、反光鏡、燈光和坑洼，而低分辨率同類(lèi)產(chǎn)品則看不到這些物體。這表明FeatUp能夠?qū)⒋植诘奶卣髟鰪?qiáng)為精細(xì)的信號(hào)，”加州大學(xué)伯克利分校博士生、該論文另一合著者Stephanie Fu表示。

“這對(duì)于時(shí)間敏感的任務(wù)尤其重要，例如在無(wú)人駕駛汽車(chē)中精確定位雜亂的高速公路上的交通標(biāo)志。這不僅可以通過(guò)將廣泛的猜測(cè)轉(zhuǎn)化為精確的定位來(lái)提高此類(lèi)任務(wù)的準(zhǔn)確性，而且還可能使這些系統(tǒng)更加準(zhǔn)確可靠且值得信賴?！?/p>