關閉
當前位置:首頁 - 科技 - 正文

谷歌實時全身人像容積攝影新研究,可調光線成亮點

Orange 2019-11-21 10001°c

  此前,在《6DoF才是全景視頻的未來》中,青亭網曾提到利用容積攝影拍攝的6DoF視頻對于VR電影重要性,比如:6DoF容積視頻中的人或物支持從多個角度觀看,比普通的360°全景視頻更具立體感等。除了VR,容積攝影對于AR/MR、CG特效/動畫來講也是一項重要技術,它可以讓你在無須動捕服裝、標記的情況下實現對人物動作的多角度動作捕捉,還可以讓AR/MR濾鏡變的更立體,可以從不同視角查看。

prismatic-egg-google

  目前,微軟、Intel、Facebook等公司旗下分別擁有各自的容積攝影/動捕工作室,這些工作室通常會使用100顆甚至更多的高分辨率攝像頭,已經可以實現分辨率較高的人體實時動捕,但由于后期調光所需的光照信息不夠多,三維重建后的效果缺乏高刷新率的細節,而且陰影部分難以根據不同的合成背景進行調試。

  可想而知,光線對于逼真的容積攝影和全身實時動捕來講非常重要。為了進一步優化這項技術,谷歌科研人員提出了一種增強高分辨率容積系統光線捕捉能力的方案:Relightables,其特點是將90個1240萬像素、60Hz刷新率的攝像頭與331個定制化的可編程LED燈模組結合,取代傳統的綠幕背景,拍攝出的動態容積視頻具備更高水平的幾何精度,并且可以替換任何場景,支持更靈活和逼真的后期調光。

1574230982613

  與其他光源相比,Relightables的光源可生成極其密實的圖案,支持準確的立體匹配,其燈光舞臺采用分時多工的梯度光照,會在兩種顏色漸變的發光模式中切換,而這些漸變信息之后還可以用于推斷重新調光所需的反射特性。

  Relightables系統為容積攝影技術帶來多方面的創新,比如:配備了一種特殊設計的主動深度感知模組,可捕捉1240萬像素的深度地圖;用一種混合機器學習的幾何重建流程來處理容積視頻的輸入和輸出;利用60Hz刷新率下捕捉到的兩種顏色的交替式漸變照明圖(生成兩種球形色彩漸變發光圖案)中包含的信息,來生成動態且實時一致的反射率網格,用于輸出30Hz刷新率的視頻。

  深耕Relightables的硬件配置

1574231026866

  據了解,Relightables系統包含的90個攝像頭分別為58個RGB攝像頭和32個紅外攝像頭,其中由32個紅外攝像頭、16個RGB攝像頭和定制的紅外結構光光源組成多個主動深度傳感模組。每個模組包含一個高分辨率RGB攝像頭、兩個高分辨率紅外攝像頭和一個定制的結構光光源,而光源則包含VCSEL激光器、柔光器、鉻鍍玻璃的直接投影掩模、準直透鏡、投影鏡頭等裝置。

1574231042948

  這些RGB和紅外攝像頭都是德國Ximea MX124攝像頭,并采用索尼IMX253傳感器,支持CMOS傳感、global-shutter,具備4112x3008高分辨率和低噪聲,量子效率足夠高,拍出來的照片細節夠多。與這些攝像頭和傳感器相連的,還有16個處理數據的PC。

  而另外的331個可編程的定制LED燈模組中,每個模組包含63個高亮度LED燈,可顯示紅色、琥鉑色、青檸色、綠色、藍色、皇家藍等多種顏色。每個LED燈由一個內置的SoC來控制,可在10MHz的速度下切換燈光。

  與市面上其他容積攝影系統不同的是,Relightables并非使用白色光源,而是使用反向漸變色彩,其中紅色在X軸,綠色在Y軸,藍色在Z軸,而反向漸變指的是從暗到亮發光,而不是亮到暗。

  Relightables的三維重建過程

1574231113605

  在拍攝過程中,Relightables會從多個視角計算出準確的3D幾何信息,并且在多視角立體渲染流程中,用深度學習來在生成三角網格之前剔除點云的離群值。為了提高網格處理的效率,甚至還將生成的網格中的幾何和拓撲結構的偽影進行刪除。同時,為了簡化3D建模的展示,還生成一個紫外譜圖來代表法線、反射、漫反射紋理等表面信息。

1574231133451

  總之,整個流程的步驟包括:深度預測(選擇視角、匹配成本、優化差異、深度細化)、基于深度學習的分割過程、網格重建、簡化和后期、網格匹配(幀對幀和全局)、一致的紫外線參數化。

  計算反射率信息

1574231149098

  在完成容積捕捉與三維重建后,如何在后期自由調光則是一個重要的問題。前面也提到,現有的其他容積攝影技術通常使用固定的光線,并且在色彩紋理圖上僅使用預先定好的光線信息,因此如果將捕捉到的人物放在多種不同的環境中,有時候會顯得不夠自然,而且畫面的細節也不夠清晰。

  因此,科研人員在Relightables系統中使用了兩種不同的漸變色光線環境,以捕捉到更細致的反射率信息。

  在處理過程中,Relightables會將攝像頭拍攝到的每一幀活動與UV網格融合,同時,預測反射率信息的過程需要將兩種光照環境(色彩漸變光照、反向色彩漸變光照)與UV地圖相匹配。為此,科研人員采用了兩種不同的策略,首先是利用網格匹配方法來為鄰近的幀生成一致的紋理參數化,讓相鄰的每一幀可以相互借用UV紋理補充信息,而第二種方法是,在幀與幀之間的空間使用光流,這樣在與UV網格融合之前,就可以獲得每顆攝像頭成像空間之間的補充照明信息。

  在完成信息采集后,接下來則需要利用色彩漸變和反向色彩漸變信息來計算出反射率信息,并生成反照率/法線/光澤貼圖,它們可以用于實時渲染引擎或線下渲染系統,不需要進一步修改。

  拍攝效果

1574231366065

  HDRI調光(左)與Relightables(右)效果對比

1574231354285

  HDRI調光(左)與Relightables(右)效果對比

1574231334945

  HDRI調光(左)與Relightables(右)效果對比

  從實驗、對比、應用中發現,Relightables大幅提高了3D動捕人物放在CG場景中的逼真感。

1574231175298

  從深度感知效果來講,如果將Relightables的傳感器以400萬像素運行,并將結果與1240萬像素相對比,可以看出低分辨率的傳感器會產生更多的深度噪音,并且幾何的整體紋理過于平滑,因此說明1240萬像素對于捕捉面部特征、襯衫褶皺等細節來講是關鍵。

1574231204426

  此外,Relightables不再需要綠幕,它分割人物與背景的方式是通過深度學習模型來識別圖像的深度,并分割出人、物體、背景等目標。而且在幾何拓撲結構不斷改變的環境下,它也能夠通過選出更優質的關鍵幀(需要的關鍵幀也更少),從而重建出效果更好的網格。

1574231387650

  為了捕捉到更逼真的面部表情和特征,Relightables在網格參數中將面部的語義權重提高三倍,這是因為人臉上的偽影在全身中看起來最明顯。

  Relightables不僅可以捕捉到高分辨率的容積視頻,也能在拍攝到的3D容積模型上進行逼真的后期光線調整,合成到HDRI環境中。當然,其捕捉到的3D模型也可以用于合成的3D場景中,這樣就能實現更準確的陰影渲染和遮擋。

1574231430312

  科研人員甚至將Relightables捕捉到的3D人物與智能手機拍攝到的影像合成,融合效果足夠好,光線和陰影和環境可以保持一致。

1574231408828

  當然,Relightables還存在一些需要改進的地方,比如:目前還難以重建頭發等輕薄的結構,未來機器學習算法有助于解決這一問題;在透明和反射材料的重建上也依然存在問題。

1574231449282

  總之,這項方案對于未來的3D動捕和人像捕捉來講有很大啟示,當然由于其球形結構的設計,可能目前還無法像使用綠幕的大型工作室那樣同時對一群人進行容積捕捉,但如果適用于為個人量身定做用于VR/AR/MR社交或濾鏡的6DoF人像,則是一個比較不錯的方案。本文系青亭網翻譯自:Google

http://www.7tin.cn/news/137161.html

Orange 7123文章 0評論 主頁

資深媒體人

請你留言

必填

選填

選填

◎歡迎參與討論,請在這里發表您的看法、交流您的觀點。


  用戶登錄
 
腾讯分分彩走势去哪看 大话2赚钱流程 赚钱花是什么软件 东方6+1 2018做装修能不能赚钱 钱柜彩票安卓 188比分直播 被快钱支付清算信息有限公司赚钱 快速赛车 答题赚钱每题1毛软件 幸运飞艇 通过投资赚钱的项目 彩8彩票安卓 做保险销售赚钱的人占比 众益彩票群 剑网3做哪个赚钱 甘肃快3