四維數字光場捕捉技術的作用

真實感是AR的核心體驗，要求盡可能真實的完成對立體世界的呈現。對于真實世界中的物體實際看到的是光場。光場簡單來說就是光線在空間中同時包含位置和方向的參數化描述，一束光線有兩個關鍵信息:發射點的位置和光束在立體空間中的傳播方向，光攜帶二維位置信息和二維方向信息在光場中傳遞。根據光場渲染理論，任何一束攜帶位置和方向信息的光線，都可以用兩個平行平面進行參數化表示，光束與這兩個平面各相交于一個二維交點，形成4維函數，也就是4維光場。

光場之所以能產生立體感，就是因為光線是從物體各個位置發出的，光線攜帶了方向信息，也就攜帶了物體的立體信息。光線到達人眼的方向和位置不同，會產生雙目視差、移動視差、聚焦模糊等效果，經大腦處理產生立體感。而普通顯示屏幕看到的是物體的像，相比于光場缺少了光線的方向信息。普通成像通過凸透鏡將前方的發射光線匯集到底片上，底片是平面，兩條不同方向的光線通過透鏡后打到底片同一位置，底片只能將其混合后的顏色記錄在同一像素點，無法保留各自的方向信息，造成信息丟失。丟失的這部分信息在成像時自然無法還原出來，所有光線到達眼睛的距離、方向基本都相同，既無需調節雙目焦距，也不會隨著觀察角度變化而出現顯著差異，大腦不處理立體信息，無法產生真實的立體感。因此，相比于普通攝像設備，能夠記錄光場信息的光場相機無疑是AR內容生產更合適的選擇。

光場相機是指能夠同時記錄光線位置、方向、顏色和強度信息的成像設備，其關鍵技術在于四維光場捕獲，目前主要有三種技術方案:

微透鏡陣列:這是最常用的技術方案，實現難度也最低。通過在普通成像系統的一次像面處插入一個微透鏡陣列，每個微透鏡記錄的光線對應相同位置不同視角的圖像，從而保留光的方向信息，獲得四維光場。著名的光場相機Lytro就采用此方案，在圖像傳感器上貼了一張微透鏡膜，包含近10萬個微透鏡陣列，使不同角度的光線經折射對應到不同的像素點上，同時從多個場景視角捕捉光線信息，再通過后期算法處理進行數學重建，還原出趨近真實世界的光場。除Lytro外，Adelson的全光場相機，Ng的手持光場相機，Levoy的光場顯微鏡，Adobe類似昆蟲復眼的鏡頭等也都采用微透鏡陣列獲取四維光場數據。

相機陣列:相機陣列是通過相機在空間進行一定排布，各相機同時從不同視角抓取圖像，進而通過特定計算重構出光場信息的方法。采用此技術方案的主要是高校研究樣機，包括斯坦福大學128相機陣列，MIT64相機陣列等。Isaksen采用單相機掃描方案，即單個相機在場景中進行移動獲取不同視角的圖像，原理與相機陣列類似。此方案優勢在于合成孔徑成像，大視角全景拼接，但成本和技術難度都較高。

其他類型:共同特點是對相機孔徑做特定處理，通過規律的調整孔徑大小捕獲光場。如Veeraraghavan的掩膜光場相機在普通相機光路中插入掩膜，將圖像變換到頻域得到與光場數據類似的頻域特性，再反推得到四維光場。相比于微透鏡陣列其成像質量更高，但軟件編程更加困難。而可編程孔徑相機則是插入特殊遮光板，通過編碼重構出四維光場。

圖94:Adobe光場相機攝像頭

圖95:Lytro光場相機