首先，我們要清楚延遲的定義：它指的是系統(tǒng)將頭部實(shí)際運(yùn)動(dòng)轉(zhuǎn)換成你在VR頭盔的屏幕上看到圖像的這段時(shí)間。這兩個(gè)事件的發(fā)生必須相當(dāng)接近，你才能像現(xiàn)實(shí)世界一樣感知不到時(shí)間差;如果延遲時(shí)間太長(zhǎng)或者變幻不定，那么沉浸式體驗(yàn)就會(huì)顯得很不自然，大腦也會(huì)啟動(dòng)對(duì)抗機(jī)制，讓你產(chǎn)生惡心或暈眩——這種感覺絕不好受。行業(yè)研究顯示，“運(yùn)動(dòng)到畫面”的延遲時(shí)間必須持續(xù)低于20毫秒(ms)，否則就無法營造流暢且自然的VR體驗(yàn)。由于標(biāo)準(zhǔn)刷新頻率是60Hz，也就意味著延遲應(yīng)該為16ms。雖然這一目標(biāo)不易達(dá)成，但只要用對(duì)方法，實(shí)現(xiàn)并非不可能。
降低延遲，你需要這幾招
將一些特定技術(shù)組合在一起的時(shí)候，的確可以成功打造出低延遲的VR系統(tǒng)。首先，我們來討論一下前段緩沖渲染。包括安卓設(shè)備在內(nèi)，圖像應(yīng)用通常采用雙重緩沖或三重緩沖技術(shù)，讓GPU可以向離屏拷貝的旋轉(zhuǎn)緩沖區(qū)映射像素，并在顯示屏每次刷新結(jié)束時(shí)與隨屏緩沖區(qū)交換，從而實(shí)現(xiàn)流暢體驗(yàn)。這一過程可以使相鄰幀的時(shí)間差更加均勻，但同時(shí)也會(huì)讓延遲增加——與VR希望實(shí)現(xiàn)的目標(biāo)截然相反。前端緩沖渲染過程中，GPU可以繞過離屏緩沖區(qū)，直接對(duì)隨屏緩沖區(qū)進(jìn)行渲染，從而減少延遲。前端緩沖渲染需要與顯示屏精準(zhǔn)同步，才能保證GPU的寫入始終在顯示器讀取之前。MaliGPU的環(huán)境優(yōu)先擴(kuò)展功能可以實(shí)現(xiàn)GPU任務(wù)的迅捷調(diào)度，從而使前端緩沖渲染流程的優(yōu)先級(jí)高于緊急程度更低的任務(wù)，起到改善用戶體驗(yàn)的效果。
消除額外的緩沖渲染以降低延遲
第二個(gè)重要秘訣便是為您的VR設(shè)備選配合適的顯示屏類型。有機(jī)發(fā)光二極管(OLED)顯示屏是改善VR體驗(yàn)的一大利器，它的工作原理和人們熟悉且技術(shù)成熟的LCD顯示器大相徑庭。利用背端的薄膜晶體管陣列，OLED顯示器上的每個(gè)像素都可充當(dāng)光源，而LCD采用的是白色LED背光源。OLED顯示器的亮度由流經(jīng)薄膜的電流強(qiáng)度決定，顏色的管理則是通過對(duì)屏幕后方的紅、綠、藍(lán)LED小燈進(jìn)行獨(dú)立調(diào)整而實(shí)現(xiàn)，因此OLED可以呈現(xiàn)出高亮度、高對(duì)比度、高飽和度的色彩。此外，只要熄滅屏幕上的幾個(gè)部分，你就可以看到比阻隔背光的LCD屏更深邃的黑色。盡管這通常是OLED屏的賣點(diǎn)，但對(duì)VR來說也很關(guān)鍵，因?yàn)椴糠终彰髂軌蚋菀椎貙?shí)現(xiàn)較低的余暉(persistence)。全余暉顯示屏意味著屏幕持續(xù)點(diǎn)亮，視景只是短暫正確，但很快就過期了;而低余暉顯示屏只在視景正確的時(shí)候點(diǎn)亮圖像，隨即熄滅。這個(gè)過程在極高的刷新率下很難察覺，從而產(chǎn)生連續(xù)圖像的錯(cuò)覺。
這一原理對(duì)降低圖像模糊度至關(guān)重要。低余暉可以允許更高的靈活性，也就是說顯示器可以在一次刷新中顯示多張部分圖像，并根據(jù)頭盔傳感器采集到的變化數(shù)據(jù)對(duì)中間幀進(jìn)行調(diào)整，因此當(dāng)用戶的視景掃過屏幕時(shí)，系統(tǒng)中的頭部位置也發(fā)生改變;而全景背光的LCD屏是無法做到這一點(diǎn)的。因此，實(shí)現(xiàn)低延遲VR體驗(yàn)的關(guān)鍵就是利用類似時(shí)間扭曲的進(jìn)程，以分塊或分條的形式渲染前端緩沖區(qū)并驅(qū)動(dòng)OLED屏。采用這種方法，屏幕上看到的圖像可以極快地適應(yīng)頭部轉(zhuǎn)動(dòng)，沒有任何其他方法可與之相媲美。
異步時(shí)間扭曲技術(shù)
接下來要討論的關(guān)鍵技術(shù)是異步時(shí)間扭曲技術(shù)。由于沉浸式VR應(yīng)用的場(chǎng)景變化相對(duì)平緩，因此視景間的圖像變化量較小，也相對(duì)更容易預(yù)測(cè)。時(shí)間扭曲(Warping)指的是，將之前頭部位置渲染的圖像進(jìn)行位移以匹配新的頭部位置。這個(gè)過程可以一定程度上分離應(yīng)用幀率與刷新率之間的聯(lián)系，實(shí)現(xiàn)系統(tǒng)低延遲，滿足特定的應(yīng)用場(chǎng)景。這種位移只對(duì)頭部轉(zhuǎn)動(dòng)做出反應(yīng)，而對(duì)頭部位置或場(chǎng)景動(dòng)畫的變化無動(dòng)于衷。盡管時(shí)間扭曲也是一種權(quán)宜之計(jì)，但不失為一個(gè)有效的安全保障，而且可以令以30FPS幀率運(yùn)行的設(shè)備(至少是部分)呈現(xiàn)以60FPS以上幀率追蹤用戶頭部運(yùn)動(dòng)的體驗(yàn)。
VR技術(shù)的秘密武器
本文中，我們探討了如何實(shí)現(xiàn)GPU和顯示器之間的深度集成，但這只是問題的冰山一角。如果我們想播放視頻(可能是受DRM保護(hù)的視頻)，并集成系統(tǒng)通知，那么問題就變得復(fù)雜多了。高質(zhì)量的VR支持需要多媒體產(chǎn)品具備強(qiáng)大的同步能力和高效利用帶寬通信的能力，不僅是為了給最終用戶營造最佳體驗(yàn)，同時(shí)也為了最大程度提高電源效率和性能。借助ARM幀緩沖器壓縮(AFBC)和ARMTrustZone等高效工具，ARMMali多媒體套裝(MMS)可以實(shí)現(xiàn)GPU、視頻和顯示器處理器的深度集成，是目前VR設(shè)備開發(fā)的領(lǐng)先工具。
