2018年11月05日，微軟在2016年開(kāi)始將立體攝像頭集成至VR全景系統(tǒng)中以開(kāi)發(fā)AR頭顯，允許用戶(hù)能夠通過(guò)攝像頭的饋送看到現(xiàn)實(shí)世界。通過(guò)視頻合成可以創(chuàng)建低成本的AR系統(tǒng)。

與光學(xué)AR相比，這種形式的AR存在幾個(gè)優(yōu)點(diǎn)：低成本的攝像頭模塊僅為VR全景頭顯增加了大約40美元的零件價(jià)格;視場(chǎng)寬，水平和垂直方向達(dá)到100多度;可在陽(yáng)光下運(yùn)行，提供真正不透明的合成影像。即便是在室內(nèi)，設(shè)備都可以改善合成影像的色彩再現(xiàn)和對(duì)比度。

微軟的第一個(gè)原型將現(xiàn)成的機(jī)器視覺(jué)攝像頭集成至商用VR全景頭顯，顯示分辨率約為單眼100萬(wàn)像素，頻率為60Hz或90Hz(見(jiàn)圖1和圖2)。兩條USB 3.0數(shù)據(jù)線(xiàn)將攝像頭影像傳輸至主機(jī)CPU。

微軟編寫(xiě)了自己的實(shí)時(shí)圖像信號(hào)處理流程，以便對(duì)Bayer圖像進(jìn)行去馬賽克處理，校正透鏡失真和修正顏色。光子到光子的延遲大約是50ms。利用后期再投影單應(yīng)性矩陣糾正這種延遲的效果出奇的優(yōu)秀。

通過(guò)自定義同步電路板(圖3)令攝像頭與顯示器同步(由微軟研究院實(shí)驗(yàn)室的硬件實(shí)驗(yàn)室設(shè)計(jì)和構(gòu)建)。它由來(lái)自頭顯顯示電路的垂直刷新信號(hào)觸發(fā)。任何商用頭顯的外部不存在這種信號(hào)，因此微軟打開(kāi)了頭顯外殼，并在顯示電路板上探測(cè)引腳，從而找到了具有正確顯示更新頻率的信號(hào)。

這些早期原型展現(xiàn)了巨大的潛力，并鼓勵(lì)我們探索第二代頭顯，而微軟是從2017年夏天開(kāi)始相關(guān)的項(xiàng)目。第一代的最大缺點(diǎn)是大型機(jī)器視覺(jué)攝像頭的體積和重量，以及顯示器的低分辨率。兩者都已經(jīng)在第二代設(shè)備中得到解決。

新款頭顯采用了由微軟研究院實(shí)驗(yàn)室的硬件實(shí)驗(yàn)室設(shè)計(jì)和制造的定制攝像頭控制電路板，后者搭載了一個(gè)滾動(dòng)快門(mén)圖像傳感器OmniVision OV4689，可以在手機(jī)形狀參數(shù)中以90Hz的速度捕捉400萬(wàn)像素。攝像頭與VR全景頭顯顯示器的同步是通過(guò)利用來(lái)自顯示控制器電路板的同步信號(hào)，但同步電路完全包含在攝像頭控制器電路板中。

與當(dāng)前同等分辨率和幀速率的最小機(jī)器視覺(jué)系統(tǒng)相比，新的攝像頭模塊更小，重量更輕(圖4和圖5)。考慮到只有2 micron-square像素，圖像質(zhì)量也出乎意料地好。

利用Cypress CX3 MIPI to USB橋接芯片，傳感器視頻可以通過(guò)USB 3.0數(shù)據(jù)線(xiàn)傳輸?shù)街鳈C(jī)。芯片的帶寬限制將90Hz的捕捉限制在1920×1440，而不是傳感器所能夠達(dá)到的完整2688×1520分辨率。

微軟的工程團(tuán)隊(duì)編寫(xiě)了自定義攝像頭控制器固件，因此可以在主機(jī)PC上的軟件中設(shè)置攝像頭幀速率，曝光和其他傳感器參數(shù)。他們同時(shí)編寫(xiě)了自定義USB驅(qū)動(dòng)程序來(lái)處理通過(guò)USB 3.0數(shù)據(jù)線(xiàn)傳輸?shù)母邤?shù)據(jù)速率視頻。光子到光子的延遲約為50毫秒，這時(shí)再次用后期的再投影單應(yīng)性矩陣進(jìn)行校正。

更高的分辨率顯著提升了現(xiàn)實(shí)世界的視場(chǎng)，輕巧的攝像頭模塊使設(shè)備比第一代原型更舒適。另外，混合現(xiàn)實(shí)頭顯的內(nèi)向外追蹤也消除了之前原型的移動(dòng)性限制。這個(gè)系統(tǒng)利用背包電腦，完全可移動(dòng)。

微軟生產(chǎn)了大約40臺(tái)這樣的頭顯，并由內(nèi)部的各個(gè)事業(yè)群作為研究目的進(jìn)行使用。據(jù)映維網(wǎng)了解，微軟還正在積極開(kāi)發(fā)未來(lái)的原型，并努力令延遲時(shí)間維持在5-10毫秒范圍內(nèi)。隨著現(xiàn)成頭顯的分辨率增加，他們將制作更高分辨率的原型。

酷雷曼3DVR全景營(yíng)銷(xiāo)系統(tǒng)的應(yīng)用讓商企更快速樹(shù)立品牌形象，提升知名度以及客戶(hù)信任感，并通過(guò)融合營(yíng)銷(xiāo)轉(zhuǎn)化應(yīng)用和具有針對(duì)性的行業(yè)解決方案，更快速的實(shí)現(xiàn)客戶(hù)轉(zhuǎn)化以及留存，幫助商家結(jié)合互聯(lián)網(wǎng)實(shí)現(xiàn)與消費(fèi)者快速結(jié)合，品牌快速傳播，產(chǎn)品實(shí)現(xiàn)快速交付。

免責(zé)聲明：酷雷曼登載此文目的在于傳遞信息，未標(biāo)注原創(chuàng)或具體來(lái)源的稿件來(lái)源于網(wǎng)絡(luò)，并不意味著贊同文章內(nèi)觀(guān)點(diǎn)或作為描述其真實(shí)性的輔助材料。

助力每一位VR全景創(chuàng)業(yè)者成功

用全景讓品牌深入人心

電話(huà)：18516908881