斯坦福大學(xué)研究人員開發(fā)的4D相機(jī)技術(shù)，可以提高機(jī)器人的視覺和虛擬現(xiàn)實能力，具有超寬的視野。

△GordonWetzstein（左） and DonaldDansereau（右）

　　斯坦福的研究人員所描述的技術(shù)，可能需要機(jī)器來獲取全球的圖像，這比20年前的研究更進(jìn)一步。這種4D相機(jī)，能產(chǎn)生四維圖像，還可以捕獲幾乎140個自由度的信息。

　　Dansereau（電子工程博士后）和Gordon Wetzstein（電氣工程助理教授）與來自美國加州大學(xué)的同事們一起，在圣地亞哥創(chuàng)建了首個單鏡頭、寬視野、光場相機(jī)，并把研究成果發(fā)布于7月23日的2017CVPR（計算機(jī)視覺會議）。

　　Wetzstein表示：“新算法和光學(xué)器件促進(jìn)了成像系統(tǒng)生成前所未有的真實圖像”。

　　普通鏡頭和全新設(shè)計的鏡頭之間的差異是，窺視孔和取景窗口。二維照片就像是一個窺視孔，因為你不能四處移動你的鏡頭，以獲取深度、半透明或散射光的詳細(xì)信息。4D相機(jī)透過窗口望去，可以移動識別形狀、透明度和光線。

　　光場攝影，首先在1996年由斯坦福大學(xué)教授馬克·萊沃伊和帕特·哈納罕發(fā)現(xiàn)。光場攝影捕獲的同一圖像的常規(guī)2D照相機(jī)，加上大概的方向與光射到透鏡的距離信息，創(chuàng)建了所謂的四維圖像。光場攝影的共同特征是，它允許用戶在拍攝后，使得圖像包括關(guān)于光的位置和方向的信息重新聚焦。

△兩個138°光場的全景和第二全景的深度預(yù)估（圖片來源：斯坦福計算機(jī)成像實驗室和加州大學(xué)圣地亞哥分校光子系統(tǒng)集成實驗室）

△使用簡單的線性方法提高LF超分辨率

　　相機(jī)具有極寬的視野，有一個專門設(shè)計的球面透鏡。然而，這種透鏡也會有障礙：如何將球形圖像轉(zhuǎn)換到傳感器上。以前的辦法來解決這個問題容易出錯，但結(jié)合UCSD的光學(xué)系統(tǒng)和專業(yè)技術(shù)以及Wetzstein的實驗室有關(guān)信號處理、算法的專業(yè)知識可以解決這個問題，不僅能創(chuàng)建這些超寬視野圖像，還可以提高成像質(zhì)量。

　　該相機(jī)系統(tǒng)中的角度，詳細(xì)深度信息和潛在嚴(yán)謹(jǐn)?shù)膶捯曇皥龀叽缈捎糜诖┐魇窖b備，機(jī)器人，自動駕駛和虛擬現(xiàn)實增強(qiáng)并符合成像系統(tǒng)的所有期待指標(biāo)。

△博士后研究員Donald Dansereau手持全景光場相機(jī)的心臟，攻克了的寬視野場具有豐富光場信息的球面透鏡

　　Wetzstein表示：“這個系統(tǒng)無論你如何移動，都可以在你空間有限任何情況下讓計算機(jī)了解它周圍的整個世界”。

　　雖然它也可以像傳統(tǒng)相機(jī)在遠(yuǎn)距離工作，但這臺相機(jī)的目的是提高特寫圖像。例如以下方面特別有用：包括小區(qū)域導(dǎo)航機(jī)器人、無人駕駛飛機(jī)和自動駕駛汽車。作為增強(qiáng)或虛擬現(xiàn)實系統(tǒng)的一部分，可能會導(dǎo)致真實場景更流暢的渲染深度信息，支持這些場景和虛擬組件之間更好的融合。

　　該版本將有望足夠小、足夠輕，用來測試機(jī)器人。

　　Dansereau說：“這是我知道的專門為機(jī)器人和增強(qiáng)現(xiàn)實內(nèi)置了光場相機(jī)的第一個實例。