實境科技發展 給媒體的未來啟示
Top Bar

實境科技發展 給媒體的未來啟示

【聯合報新媒體研究報告】
文/聯合報新媒體中心、視覺設計中心 陳建名


現在很多人都用手機看新聞,但有沒有想過,未來新聞有可能「栩栩如生」立體的出現在你眼前?我們可以在自家客廳用3D增強實境看足球賽直播;新產品發表時,先用模擬實境玩玩看;遠距新聞人物在眼前立體現身互動,甚至吵架。一旦這些情況成真,新聞媒體又要翻天覆地了...

對媒體而言,當手機被「實境裝置」取代,將帶來新商機與新工作機會,歸納三個重點:

一、重新定義媒體說故事方式
既有的內容呈現方式,在實境裝置上將不能被滿足。就像把桌機內容硬塞進手機時一樣不符合使用體驗,所以介面操作、互動體驗、資訊設計都將被重新定義。

二、要強大的網路連線技術
精準掌握新串流技術的媒體,有更多機會掌握使用者。虛擬實境要將更多資料同時呈現在使用者所處的空間裡,體驗實境更是需要強大的網路串流技術,其中包括雲端串流(cloud streaming)。

三、需要實境體驗設計師
產生新的數位工作機會。實境裝置的服務應用,需要有創意的實境體驗設計師創新實作:不只會詳細解釋新聞說故事空間、突破「再現」的時間維度,還要會營造體驗氣氛,重新思考服務路徑,並打開讀者的同理心與共鳴度。

實境的種類與說明

整理目前實境的發展,除了擴增實境(AR)、虛擬實境(VR)、還有混合實境(Mixed Reality,MR)。這三種實境原理上有些不同,以下圖解釋三種實境。



虛擬實境(Virtual Reality,VR)
透過裝置,眼睛所看的一切都是虛擬。舉例:在辦公室的你戴裝置後,所見的畫面會立刻改變到不同場景,所見將不再是辦公室。VR延伸出由日本理化學研究所腦科學研究中心的鈴木圭介所提出的「替代實境」(Substitutional Reality,SR):相對於VR是改變空間,SR主要改變的是時間。

「替代實境」(Substitutional Reality,SR)




擴增實境(Augmented Reality,AR)
透過裝置,眼睛所見是虛擬與真實空間結合的畫面。不管是去年風靡的Pokémon Go或是變臉app,都是AR產品的一種。AR的發展延伸出由美國實境技術研發商Magic Leap提出的影像實境(Cinematic Reality,CR)概念:意思是虛擬場景跟電影特效一樣逼真,且融入真實空間 ("interact with your real world, not on top of your real world")。目前Magic Leap並不是裸眼全息,是需要一個頭戴顯示器。

最神秘的實境科技公司Magic Leap。


混合實境(Mixed Reality,MR)
混合實境是現實與模擬的混合,假與真的結合,由兩種不同的體驗的混合。舉例 THE VOID 的遊戲概念:就像穿戴VR裝置玩賽車時,除了視覺改變,還操控真實的方向盤、並感受車子過彎時的真實G力,讓使用者真實感受賽車情境。

THE VOID的實境遊戲概念,虛擬實境結合真實體感讓玩家在遊戲中體驗更加逼真。


實境在媒體產業的發展

首先觀察VR在媒體發展。

因為拍攝設備簡單,而且Youtube、Facebook等平台支援,許多國內外媒體都用在新聞報導。紐約時報The Fight for Falluja透過VR讓使用者在視覺上親臨戰地現場。不過VR敘事最大的困難點,也在於所見太豐富,容易失焦,使觀者失去耐心。簡單分析The Fight for Falluja,我們學習到三個重點:

一、想要吸引讀者,重點是題材和環境是否適合VR呈現。

二、可以透過聲音、畫面、時間、動態方向引導觀眾怎麼看見重點。

三、VR需要安排「全方向的情境腳本」來說故事。

紐時「The Fight for Falluja」的VR新聞。




AR的發展,過去較常見於商業行銷廣告,但因為Pokémon Go的成功,如今遊戲與活動也大量應用。但在新聞媒體應用上,目前發展仍然不明朗。最常見的新聞應用是透過報紙玩AR:例如日本「東京新聞」2013年開發一款結合 iPhone 及報紙的擴增實境 App,名為「東京 AR」,利用手機掃描報紙時,活潑呈現讓兒童易懂的新聞內容。

日本東京新聞的「東京 AR」。




聯合報新媒體中心與視覺設計中心也實驗過這種AR新聞應用。我們發現兩個重點:

一、雖然看起來有趣,但現實上很難讓用戶有流暢的動機與使用者路徑。

二、以我們所實驗的過程,現階段AR辨識圖要放在 vuforia 的空間,再透過手機app進行掃描辨識才可呈現資訊,所以一個完整的AR新聞需要透過其他平台、並且設計app提供讀者下載。相較於VR,AR是有較多限制的。

但是我們團隊仍構想了AR在新聞與商業應用的「服務藍圖路徑」,藉以開拓AR應用的可能性( 聯合報新媒體中心與視覺中心的AR服務路徑探索簡報 ,完整供參)。雖然現階段的技術限制多,但仍留意任何實驗/實作的可能性。

聯合報新媒體中心與視覺設計中心實驗性AR新聞應用。




MR的發展,現在雖然只常現於遊戲產業,但MR未來是可以被期待的。去年(2016)年底微軟發表HoloLens裝置,可能拉近了智慧型手機更換周期的到來,進入實境裝置的起點。HoloLens不需要額外電腦與手控線路配備,就像智慧型手機一樣一體成形,但它不像VR裝置會完全覆蓋使用者視線,而是部分結合AR實境。所以你可以帶著裝置去任何地方、但不影響原本視線。

實境科技產品Hololens模擬展示。



但是HoloLens也不是完美,由於體積大小與電量不足,無法像手機那樣每天隨身帶出門。那目前微軟所公布的MR產品發展,會對媒體會有受什麼影響呢?我們假設兩個可能性:

一、影音與直播將有新的發展。直播影音將可以立體投影到使用者空間,而且「立體影音」還能保存和重播,就跟一般影音一樣。不過目前製作立體影音仍需要偵測器材,需要在空間中安置特定攝製器材。

微軟的實境虛擬3D立體影像傳輸技術



二、自動&即時抓取3D模型的快速發展。立即抓取所攝空間、並且快速自動製成3D模型,在接下來的實境發展會被大量需要。目前自動製作3D的技術,其實已經加快了虛擬實境的作業速度。

抓取所攝空間建製成3D模型,也是實境科技發展趨勢。




那「實境生態圈」真的來臨了嗎?判斷還有一段距離。科技的發展可以預測,只是發酵時間點的早晚不同。舉例來說,過去AR發展一直被商業使用,只是受限於使用者的習慣與認知。但因為去年Pokémon Go流行,手機效能提升、網路速度進步,讓擴增實境發酵。

誰能站上新的風口起飛?

對數位媒體工作者而言,新科技讓新工作機會出現:社群當道,社群「小編」不再被小覷,各家媒體都想挖角懂社群的人才;大數據來了,最搶手是資料分析師;直播正夯,厲害的網紅有了跟觀眾互動的大平台.....,當「實境科技」快速發展,就看誰能站上這個新的數位風口起飛。

聯合報新媒體中心、視覺設計中心/數位製作人陳建名
愛玩新科技,愛碰新事物,創作新聞與數位技術上的內容,推動媒體數位化轉型。


參考資料:

未來12種人才超夯,要失業很難

终极扫盲贴:VR、AR、MR、CR有什么区别

「摸得到」的虛擬世界即將來臨?從 VR 進行式一窺未來

Substitutional Reality System: A Novel Experimental Platform for Experiencing Alternative Reality

Magic Leap 'cinematic reality' in astonishing new funding round

Magic Leap 紅成這樣,過去一年它做了什麼?

HYPER VISION

隨著科技發展,關智慧型手機看新聞

【2017未來媒體趨勢報告】未來媒體十大趨勢:技術改變新聞


主圖/moduo魔多、Opuscope