編者按:本文來自微信公眾號“量子位”(ID:QbitAI),作者 邊策 安妮。36氪經(jīng)授權(quán)轉(zhuǎn)載。通過墻壁漫反射的光影,能重建原始畫面么?現(xiàn)在可以了。這不是科幻。一篇新論文登上了Nature,論文中顯示,僅僅用一臺普通的數(shù)碼相機(jī),僅僅憑借墻上模糊不清的光影,就能還原最初的畫面。先來考考大家。下面這個漫反射光影,你能看出什么來?其實(shí)這是一個蘑菇。那下面這個是什么?很相似是不是?但這是一張人臉……你看不出來,但是厲害的算法,真的能憑借這種漫反射,還原逼真的原始畫面。無圖無真相。下面就是三個重建的實(shí)例。首先放墻上的漫反射光影。然后是算法重建的圖像。震不震驚!這個效果,簡直就是把一面墻,變成了一面鏡子!不信?再來對比一下原圖。無論是紅黑兩色組成的英文字母傳遞的暗號:還是超級馬里奧里熟悉的蘑菇:甚至神似辛普森一家中角色的戴紅色棒球帽的復(fù)雜頭像,這個算法都能夠通過一面墻一五一十還原出來:這個AI算法無需借助昂貴的拍攝器材就能還原屏幕,甚至你在自己家都可以把實(shí)驗(yàn)?zāi)M操作模擬出來。研究人員在一間普通的房間的一端放置了一塊屏幕,屏幕上顯示圖案,面向?qū)γ娴膲Ρ?。這塊屏幕旁邊有一套普通的數(shù)碼攝像機(jī),同樣面向?qū)γ娴膲Ρ冢贿^攝像機(jī)與屏幕間隔了一塊擋板,攝像機(jī)根本沒有機(jī)會直接拍攝到屏幕上的畫面。研究人員采用了一臺400萬像素的數(shù)碼相機(jī)完成這個實(shí)驗(yàn),售價(jià)約為1400美元(約人民幣9500元),研究人員預(yù)計(jì)比此前用脈沖激光相機(jī)探物便宜了至少30倍。而這臺數(shù)碼攝像機(jī)要做的,就是通過拍攝屏幕發(fā)射到對面墻壁的光,還原屏幕上的圖像。實(shí)驗(yàn)難度還在加大:研究人員還在房間中間隨手放置了一個不明位置的遮擋物體,可以是一塊不發(fā)光的板子,也可以是隨手拽過來的一把椅子,阻擋一部分光線到達(dá)墻壁。在整個拍攝過程中,數(shù)碼相機(jī)能捕捉到的只有墻上斑駁的光影。在這項(xiàng)研究公布之前,這種想法被視為不可能的存在:普通攝像機(jī)、一塊普通屏幕,一把隨意搬過來的椅子加一面墻,如何還原屏幕上五彩斑斕的未知圖案,甚至是動圖?甚至連專業(yè)物理學(xué)家都不看好。荷蘭烏得勒支大學(xué)的光學(xué)物理學(xué)家Allard Mosk曾表示:“人們認(rèn)為,在沒有任何先進(jìn)儀器的情況下,只利用墻面上漫反射的光重建圖像幾乎是不可能的?!睕]想到,這群波士頓大學(xué)的研究人員做到了。讓墻變成鏡子先讓我們來復(fù)習(xí)一下初中物理知識:物體對光線的反射分為鏡面反射和漫反射兩種。鏡子能讓我們看清物體,是因?yàn)殓R子表面光滑,能把光線按照某個固定方向反射回去。但墻面是粗糙的,當(dāng)屏幕上的光投射到上面時(shí),光線會往各個方向反射,我們稱之為“漫反射”。在常識中,我們是無法通過漫反射的混亂光線恢復(fù)物體原貌的。之前也有些技術(shù)能恢復(fù)圖像,但對光線的要求極高,比如激光,成本也高得多。而波士頓大學(xué)的Vivek K Goyal小組這項(xiàng)只需要研究普通照相機(jī)。Mirror mirror on the wall!只要算法夠強(qiáng),墻面也能變成鏡子!與鏡面成像不同的是,在鏡子前個東西加與阻擋視線,而在屏幕和墻面之間插入障礙物,反而會降低我們還原圖像的難度。這看似違反常識,其實(shí)是有道理的。想象一下小時(shí)候做過的“小孔成像”實(shí)驗(yàn),當(dāng)光線只能通過一個小孔時(shí),屏幕的光就會在墻面上形成清晰圖像。顯示器和墻面之間的障礙物減少了雜散光線,讓入射光線更少,就能讓成像稍微清晰一點(diǎn)。當(dāng)然,Goyal的研究沒有把入射光線限制在太小的范圍里,而是用算法從墻上的陰影中恢復(fù)屏幕原來的樣子。雖然現(xiàn)在只能恢復(fù)任天堂8位機(jī)那種簡單的圖像。以上只是定性的描述,若要精確恢復(fù)屏幕上的圖像,我們需要建立墻面上各點(diǎn)亮度與屏幕亮度的函數(shù)關(guān)系:在上面方程中,Pw是墻上的點(diǎn),x是屏幕上的點(diǎn),P0是障礙物上的點(diǎn),nx和nw分別是顯示器與墻面的法向量,Pw-x表示的是從點(diǎn)x指向Pw的向量。I(Pw)墻上點(diǎn)表示Pw的亮度,可以由相機(jī)拍攝的圖像獲得;f(x)表示屏幕上點(diǎn)x的亮度,實(shí)際代表著顯示器上的圖像;當(dāng)P0在Pw和x之間時(shí),V等于0,否則等于1;μ表示顯示器指向不同角度光照差異;b表示背景光對墻面亮度的貢獻(xiàn)。以上方程中,I(Pw)我們可以用相機(jī)照片獲得,通過以上方程反向推算出f(x)。如果沒有障礙物,V處處等于1,I(Pw)與f(x)的依賴關(guān)系太弱,反而不利于恢復(fù)圖像,這也是在屏幕和墻面之間加入障礙物的原因。以上方程太復(fù)雜,也不利于計(jì)算。既然屏幕的光照越強(qiáng),墻上的點(diǎn)也就越亮,我們可以把上面的積分方程轉(zhuǎn)化為一個線性方程。y=A(po)f+by是墻上各點(diǎn)的亮度,我們選取126×126個點(diǎn),也就總共15,876個變量的方程組,其中A(P0)代表一個變換矩陣。其實(shí)Goyal小組去年已經(jīng)做出了相關(guān)成果,但當(dāng)時(shí)必須要知道障礙物的形狀以及位置,才能恢復(fù)圖像。但這次他們把難度又提高了一個檔次,僅僅知道障礙物的形狀,卻不知道位置。Goyal的方法是,先估計(jì)出障礙物的位置,再通過平均位置附近的49組數(shù)據(jù)反向恢復(fù)圖像。再發(fā)展下去,他們的算法連障礙物是什么形狀都不需要知道,只通過墻上模糊的影子,就能它的樣子。相關(guān)研究通過AI算法分析光影預(yù)測直接看不到的物體不僅有這一種方法,早在2010年,MIT Media Lab的研究人員已經(jīng)有了成果。和波士頓大學(xué)不同,這種方法需要單獨(dú)購置特殊設(shè)備,即一臺能夠發(fā)射出激光的相機(jī)。與耳朵接收回音類似,這種方法通過手機(jī)激光照在物體表面的反射路徑,算法預(yù)測角落中直接看不到的物體。2017年,MIT計(jì)算機(jī)科學(xué)和人工智能實(shí)驗(yàn)室(CSAIL)又開發(fā)了一種新算法,這個AI系統(tǒng)可以借助智能手機(jī)的攝像頭,收集光反射的相關(guān)信息,檢測隱藏在障礙物后的任何物體,還能實(shí)時(shí)測量它們的移動速度和行進(jìn)軌跡。想象一下,你走在一條“L”形的走廊上,拐角的另一邊放置了一堆雜物。這些雜物投射在你視線內(nèi)地面上的少量光線,形成一個模糊的陰影,我們稱之為“半影”。AI系統(tǒng)就利用了智能手機(jī)攝像頭中半影的視頻,將一系列一維圖像組合在一起,揭示周圍物體的信息。研究人員將這個“透視眼”系統(tǒng)稱為“角落相機(jī)”(ConerCameras),研究人員表示,這種方法在室內(nèi)和室外的效果都還不錯。這種方法也有弊端,如果如果隱藏的場景本身光線暗,系統(tǒng)的識別也會有問題,此外,智能手機(jī)的相機(jī)像素也影響收集的圖像質(zhì)量,相機(jī)里障礙物越遠(yuǎn),系統(tǒng)收集的圖像質(zhì)量也越差。但在Nature最新研究中,這種弊端不會顯現(xiàn),波士頓大學(xué)的研究人員表示,從理論上講,你不僅可以拍攝屏幕,還可以拍攝同一房間內(nèi)任何燈光昏暗的物體。傳送門可移步Nature原文繼續(xù)了解,論文Computational periscopy with an ordinary digital camera:網(wǎng)頁鏈接作者:Charles Saunders, John Murray-Bruce & Vivek K Goyal作者系網(wǎng)易新聞·網(wǎng)易號“各有態(tài)度”簽約作者