為什麼 Google 單鏡頭 Pixel 手機拍照功能這麼強?關鍵在軟體與機器學習!

過去 Google 所推出的 Pixel 系列手機,向來以優秀的拍照功能受到矚目,特別是不久前才在台灣相繼開賣的 Pixel 3 及 Pixel 3a 系列,所內建的夜視(night sight)模式,在極暗的場所依然能拍出明亮鮮豔的照片,其表現令人讚嘆,相關介紹可參考先前的「Pixel 3 拍照功能實測」文章。不過近年來,雙鏡頭、多鏡頭手機成為主要潮流,並且都在強調更高的像素、優秀的鏡頭和超大光圈,那麼仍採用單鏡頭的 Pixel 手機,為什麼還能擁有拍照手機市場的優勢呢?

為什麼 Google 單鏡頭 Pixel 手機拍照功能這麼強?關鍵在軟體與機器學習!

為了解答大家的疑惑,Google 特別在台灣邀請到計算攝影的發明人、Google 工程師 Marc Levoy,同時也是 Pixel 智慧型手機的 HDR+ 模式、肖像模式和夜視功能開發團隊的重量級領導人,由他親自分享 Google 手機的相機技術。

為什麼 Google 單鏡頭 Pixel 手機拍照功能這麼強?關鍵在軟體與機器學習!

在目前市場普遍以硬體導向的趨勢下,Marc Levoy 指出,未來 Google 的開發方針將走向以軟體來定義手機相機系統。Google 擁有軟體與機器學習的優勢,可以讓採用軟體定義(Software-defined)的相機,未來在圖片計算不再僅靠硬體執行計算攝影(Computational Photography),重要的是機器學習的導入,可以取代傳統的演算法,因為 Google 可以在訓練機器學習的過程中,投入龐大數據來加強演算的準確度。

為什麼 Google 單鏡頭 Pixel 手機拍照功能這麼強?關鍵在軟體與機器學習!

在針對 Pixel 3 的四大拍攝功能:HDR+、肖像模式、高解析變焦、夜視模式進行說明之前,Marc Levoy 首先提到,手機相機應用程式執行時,理應遵守幾大基本原則,包含快速的執行速度、預設模式不能失敗、快門延遲時間要少於 150 毫秒、照片成像時間小於 5 秒,算是替優秀的手機拍照系統下了定義。

為什麼 Google 單鏡頭 Pixel 手機拍照功能這麼強?關鍵在軟體與機器學習!

相信使用 Pixel 手機的使用者應該都會直接預設開啟 HDR+ 模式,無論是過亮或過暗的場所都可以獲得改善。Marc Levoy 解釋,其實在這個部分最難做到的地方是校準能力的克服。「包圍曝光」(Exposure Bracketing)是一般相機的 HDR+ 模式,是以捕捉從短曝光到長曝光的每一張影像進行疊合校準,但這種作法在手持晃動且未使用腳架的情況下,HDR+ 的成像會容易失敗,因此 Google 選擇了其它方案。

為什麼 Google 單鏡頭 Pixel 手機拍照功能這麼強?關鍵在軟體與機器學習!

而 Google 的 HDR+ 是透過連續拍攝捕捉在相同曝光程度下的影像,以這些相似的影像進行校準與合併,提高校準的準確度,減少陰影處的雜訊,並且利用色調映射(Tonemap)增強陰影,降低亮處,儘管這會犧牲一些整體色調跟對比度,卻可以保留局部對比度,大幅提升 Pixel 手機 HDR+ 模式的拍照品質。

為什麼 Google 單鏡頭 Pixel 手機拍照功能這麼強?關鍵在軟體與機器學習!

Pixel 手機的肖像模式,其實就是所謂的景深模式。在其他廠牌的手機要做到景深效果,主要是以雙鏡頭捕捉兩個影像,再以立體匹配演算法 (Stereo Matching) 去計算深度圖 (Depth Map),並選擇一個影像保持銳利,再模糊化其它的影像。那麼,只有單鏡頭的 Pixel 手機又是怎麼做到景深效果?重點在於軟體技術「機器學習」與硬體技術「雙像素」。

為什麼 Google 單鏡頭 Pixel 手機拍照功能這麼強?關鍵在軟體與機器學習!

Marc Levoy 特別介紹了一則景深計算公式,並說明前鏡頭可透過機器學習執行肖像模式,但主鏡頭就比較複雜,因為要搭配「雙像素」技術,也就是「相位對焦」(PDAF),以此將鏡頭中的畫面分成左半與右半部的兩個世界,這時透過差距非常小的基線(Baseline)使影像立體化,加上 Google 擁有上千萬的影像數據庫,也可以讓機器學習輔助執行產生更好的表現。不過 Marc Levoy 坦言,這種透過運算的成像並不完全符合真實的情況,卻能讓新手輕鬆拍出近乎專業的景深照片。

為什麼 Google 單鏡頭 Pixel 手機拍照功能這麼強?關鍵在軟體與機器學習!
LINE:LINE(中國大陸稱連我)是由韓國NHN株式會社在日本的子公司LINE 株式會社開發的一個智慧型手機應用程式,在2011年6月發布。用戶間可以通過網際網路與其他用戶進行語音通話或傳送簡訊。 ...更多

社群回應
PChome會員回應
人氣科技新聞