分析Pixel手機相機技術 Google:導入軟體、機器學習是關鍵

▲Google Pixel手機以單鏡頭設計就可拍攝出令人驚豔的影像著稱。(圖/記者邱倢芯攝)

記者邱倢芯/臺北報導

Google Pixel手機最令人驚豔的,莫過於單鏡頭卻可達到強悍的拍照功能,無論是影像的景深效果,或是夜晚的清晰拍攝,都吸引了許多目光;Google今(23)日也特別邀請了Google傑出工程師Marc Levoy來臺分析,Pixel手機如何在多鏡頭的手機市場下,還可以單鏡頭的設計驚豔手機市場。

Levoy指出,由於Google具備軟體機器學習的優勢,因此在研發的過程中,也將過往積累的經驗加入在Pixel手機相機當中運用機器學習技術取代傳統演算法,且在訓練機器學習的過程中獲得許多訓練用的數據,都將有助提升拍照執行的準確度

▼Google傑出工程師Marc Levoy。(圖/記者邱倢芯攝)

目前大多數的智慧型手機制造商是利用合成淺景深(Synthetic Shallow Depth of Field)來達到如此的效果,該作法爲運用作假景深達到真實景深的效果,而大部分使用者其實難以辨別差異。不過這一類的做法大多需要雙鏡頭以上的配置,在相似的焦點下捕捉兩個影像,再運用立體匹配演算法(Stereo Matching)去計算深度圖(Depth Map),並在場景中選擇一個平面以保持銳利影像,最後再模糊距離該平面更近或更遠的影像特徵,讓背景呈現失焦的影像,來達到所需的效果。

不過僅有單鏡頭配置的Pixel手機,則是利用機器學習技術分割影像中的人物​,並運用卷積神經網路預估圖像中 每一個像素的人物;卷積神經網路可以在TensorFlow中執行;Google利用超過100萬張標籤過的人物和配件照片進行機器學習模型訓練,使用數學計算中的邊緣感知雙邊求解器進行細化,讓人物分割的邊緣更加銳利。之後再運用相機中的雙像素(Dual Pixels)預估深度圖,以達到景深的效果。

且爲了保持人物影像銳利,從機器學習人物分割技術中,根據人物與背景的距離按比例模糊化,並且將人物所在位置前後一段距離的影像也保持銳利,以讓人物影像能清楚呈現。Levoy認爲,如此的呈現效果,雖然非物理上正確,但有助於攝影初學者透過Pixel手機肖像模式拍攝人物。

而在夜視模式的部分,Pixel手機是利用按下快門後,靜止不動的幾秒鐘時間內,高速捕捉最多15​幀畫面,而後Pixel 3會結合高解析變焦功能(Pixel 1/ Pixel 2 / Pixel 3a 則是結合HDR+功能),再透過學習式白平衡(Learning-based White Balancing)調整影像色調,並藉由計算攝影的自動調整,以保持景物最真實的色調,最後就可拍攝出令人驚豔的夜晚影像。