雷鋒網(wǎng)：本文來自兔兔CTO在建筑師沙龍的演講。本文主要講的是美顏技術(shù)在直播中的運用。雷鋒網(wǎng)已獲得授權(quán)。

2016年是視頻直播元年，無論從資本估值的上漲，到平臺主播的各種天價薪酬，再到像“局”這樣的主流人爭相直播，直播社會的熱度可見一斑各大直播平臺在經(jīng)歷了從無到有發(fā)展直播概念的階段后，如何區(qū)分、如何解決野蠻成長期出現(xiàn)的各種涉黃問題，已成為幾乎所有平臺的“成長之痛” 除了政策和內(nèi)容問題，在技術(shù)層面，基于圖像技術(shù)的創(chuàng)新成為解決這些問題最可行的途徑。作為土素材的第一次分享，我們首先選擇了直播這個熱點話題，介紹了圖像技術(shù)在直播中的應(yīng)用。

本次分享系列整理了 CTO在建筑師沙龍的演講內(nèi)容。

一、技術(shù)框架

每個人都有對美的熱愛。早期的畫美教育了市場，而在直播時代，美顏也成為了直播平臺的標配。目前，用于直播美容的主流技術(shù)是 ES。它的優(yōu)點是直接在GPU上運行，所以性能高、功耗低，在直播中使用更劃算。二是跨平臺主播用的美顏軟件下載，iOS和都支持，美顏效果可以直接在這兩個平臺上實現(xiàn)跨平臺效果。 ES 的另一個優(yōu)點是有大量現(xiàn)成的開源庫。比如谷歌的，還有一些基于安卓的實用庫都非常常用。網(wǎng)上也有一些熱心的開發(fā)者直接開源了自己的美顏算法，包括一整套解決方案，從采集到處理再到美顏處理，再到最終輸出一個源代碼，都有相關(guān)的解決方案。

二、美的原則——必須混合

市場上大多數(shù)美容產(chǎn)品的一般原理都是相似的。攝像頭抓拍圖片，經(jīng)過一定的處理，最終輸出美化圖片。

具體來說，先對原圖進行微晶磨皮，即去除粉刺和斑點。然后將紋理圖像與原始圖像混合。這一步融合是必不可少的，因為如果只使用重鋪圖像，很容易丟失細節(jié)。并且通過混合兩個圖像，您還可以通過調(diào)整兩個圖像的混合權(quán)重來控制微晶磨皮的程度，以實現(xiàn)不同程度的微晶磨皮。當然，最后一步也很重要，就是美化皮膚，比如讓膚色更白、更紅、更嫩，或者可以達到一些特殊的需求?；旧?，大部分的美，就是這個過程。

三、微晶磨皮算法 - 祛痘就是降噪

本質(zhì)上，圖是二維數(shù)據(jù)。如果兩個相鄰區(qū)域的灰度值相差較大，則說明存在噪聲。比如臉上長了痘痘，痘痘自然會產(chǎn)生灰度值的變化，這是抽象意義上的噪點。因此，美膚算法的核心是去噪。去噪的方法很多，網(wǎng)上也有很多種算法，包括現(xiàn)成的論文。但是無論用什么算法，美顏的去噪算法都必須保持一個特性，即必須保持邊界，同時又要達到平滑，也就是濾波。

比較常見的過濾算法是雙邊過濾，優(yōu)點是效率很高，所以非常適合移動平臺。還有其他一些算法稍微復雜一些，可以達到這種效果，但在移動應(yīng)用程序中效率不高。 GPU雖然進行并行運算，非常適合這樣的運算，但是GPU的能力是有一定范圍的，超過這個范圍也會消耗功率。包括雙邊濾波，濾波算法也有多種實現(xiàn)方式?？紤]在移動平臺上運行，可以進行特殊優(yōu)化。比如在精度計算中，適當降低精度，達到效果和效率的平衡。

四、膚色調(diào)整 - 檢測是問題

換膚后的最后一道工序是調(diào)整膚色。調(diào)整膚色的方法本身就很成熟，所以比較難的部分就是膚色檢測。為什么要進行膚色檢測？一些早期的直播美妝沒有這個功能，所以在美化膚色的基礎(chǔ)上，簡單粗暴地按照這個顏色處理整個畫面，造成整體偏色，效果最好不要做。因此，在對圖像進行處理之前夢幻的魔術(shù)棒筆刷，必須先進行膚色檢測，在處理前在圖像的所有像素點中找到與膚色范圍對應(yīng)的像素。

直播中膚色檢測的特點是色彩空間的轉(zhuǎn)換。因為與圖像處理相關(guān)的色彩空間主要有3種：RGB、YUV、HSV，而這三種色彩空間是用在直播中的。

RGB 是最常見的色彩空間。我們?nèi)粘Ｊ褂玫娘@示設(shè)備都是基于RGB空間的，這里就不多解釋了。

YUV 是一種比較傳統(tǒng)的色彩空間。它首先用于電視信號的傳輸。目前多用于直播的數(shù)據(jù)采樣和傳輸過程中。這是因為人眼對亮度（Y）比對色度（U，V）更敏感，所以YUV比RGB更容易壓縮，更容易節(jié)省傳輸帶寬。

基于 HSV 的色彩空間用于膚色檢測。因為如果用RGB進行膚色檢測，需要檢測R、G、B三個值是否同時滿足膚色的顏色范圍，YUV也是一樣。而HSV的三個值：Hue（H），（S），（V），只有H與膚色有關(guān)，所以只需要考慮H（H值在25-50之間可以判斷為膚色），所需的計算量自然比RGB要少很多。

因此，在直播的不同階段，這三個色彩空間應(yīng)該分開使用，并且三個色彩空間之間要不斷相互轉(zhuǎn)換。

五、細節(jié)——超越算法

雖然美顏算法很重要，但美顏是一件非常主觀的事情。一個非常漂亮和高效的算法并不能保證最好的美容效果。因此，在用標準算法處理后，設(shè)計者需要根據(jù)自己的經(jīng)驗進行調(diào)整。比如很多平臺都有類似的算法，但是為什么最終的美化效果還是讓人感覺不一樣呢？其實就是說里面有很多細節(jié)，還需要時間去優(yōu)化，尤其是用戶的需求是什么，怎么做的更漂亮。

另一個例子。很多平臺在不同光照條件下，比如白天、夜晚、室內(nèi)、室外、自然光、人造光，直??播的美顏效果差別很大。造成這種情況的原因可能是算法中沒有考慮光照因素，結(jié)果是一個小因素影響了效果。

因此，這需要大量的測試，并結(jié)合人工優(yōu)化的技術(shù)手段來保證最佳的美顏效果。再說一遍：細節(jié)是魔鬼。

六、表現(xiàn)——對分數(shù)不滿意？

在性能方面，iOS 平臺目前一般沒有或很少有問題。比如它是一個第三方庫，在iOS平臺上是一個很有歷史的庫。實現(xiàn)了很多效果，比如剛才提到的一些算法，里面可以看到簡單版的實現(xiàn)，包括腳本怎么寫，怎么運行，雙邊過濾怎么做，有簡單的實現(xiàn)，還有可以有非常好的。影響。包括在做直播的時候，可以作為一個很好的客戶端擴展。唯一需要做的就是添加一個推流；因為它包含了從客戶端采集處理到每一幀的數(shù)據(jù)，無論是YUV，還是RGB，都可以輸出。因此，iOS平臺上的問題相對較少。

平臺是一個更大的問題。由于本身的特點，廠家多，設(shè)備多，系統(tǒng)版本多，相互兼容比較困難。

首先是設(shè)備問題。例如，如果一個美顏算法在不同的機器上運行主播用的美顏軟件下載，即使使用相同的 GPU，性能也可能會有很大差異。所以，為了保證一個腳本能適應(yīng)不同的機器，有一個辦法：根據(jù)GPU的性能做一個評分算法，如果評分比較高，就用最復雜的算法；如果性能等級比較低，就把美化效果降低，保證在大部分環(huán)境下都能使用。

第二個是版本問題。比如只有4.0以上的版本可以通過攝像頭直接從攝像頭采集中獲取紋理。這稱為 OES。攝像頭直接將捕獲的圖像傳輸?shù)?GPU，所有這些都由 GPU 加速。 4.3 以后我能做什么？從攝像頭采集到處理再到編碼，全部使用GPUCAD實用填充圖案129種，最好最快。當然，這對系統(tǒng)的兼容性要求是最高的。因為有些廠商在實現(xiàn)的時候不兼容這些東西，GPU加速很難做到。

同時輸出 YUV。很多直播平臺都支持YUV輸出。這些 YUV 數(shù)據(jù)涉及到 CPU 和 GPU 的轉(zhuǎn)換過程。因為處理可能在GPU中完成，GPU不能直接輸出，需要從GPU轉(zhuǎn)換到CPU。目前，沒有更好的解決方案。目前的一些底層GPU還沒有開放，有時可以通過 實現(xiàn)，但是并沒有開放這個。如果有這樣的事情，唯一能做的就是把源碼拿出來，包括把源碼鏈接成關(guān)鍵代碼，這樣才能達到更好的效果。從 CPU 到 GPU 的轉(zhuǎn)換可以在幾毫秒內(nèi)完成。如果直接從 GPU 轉(zhuǎn)換到 CPU，一個好的設(shè)備可能需要大約 20 毫秒。你預測的數(shù)據(jù)是24幀，可能會有丟幀的情況。健康）狀況?？赡軐χ髁饔绊懖淮?，大部分情況下都可以接受。當然，這最終取決于用戶唯一的應(yīng)用場景。

最后說一個經(jīng)常被問到的問題：iOS平臺和平臺都有自己的人臉檢測API，為什么不用呢？

首先，系統(tǒng)頻率低，速度慢。蘋果可能有這樣的考慮，不影響攝像頭API的正常使用，所以頻率很低。檢測可能需要 3 秒；而不是需要3秒的檢測，它只會在3秒內(nèi)給你一條數(shù)據(jù)，告訴你這張照片中是否有人臉。作為一款實用產(chǎn)品，假設(shè)每秒24幀，至少需要十幾次測試才能滿足實時性要求，否則就跟不上幀率要求。在中，問題更為嚴重，因為它取決于設(shè)備，有的設(shè)備甚至沒有，廠商直接去掉了這個設(shè)置。另一個特征點問題。 iOS上有這些特征點，比如眼睛、嘴巴、鼻子等，上沒有這些特征點。

七、美容2.0——從化妝到整容

以上內(nèi)容屬于美容概念1.0，最新美容技術(shù)發(fā)展到2.0概念。打個簡單的比喻，如果.0只是化妝，.0基本可以達到整容的效果——放大眼睛，把圓臉變成瓜子臉。這種效果的基礎(chǔ)是人臉識別。這很容易理解。只有判斷有沒有人臉，知道五官在哪里照片美化軟件(ArcSoft Perfect365)，才能讓他們更美。

關(guān)于人臉識別，又是一個大問題。限于篇幅，我們將在下一期詳細展開這個問題。

雷鋒網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載說明。