在2021年10月的時(shí)候，F(xiàn)acebook已有超過(guò)1/5人員（10000人）在VRAR部門，然后還改名為Meta，全面進(jìn)軍元宇宙。據(jù)預(yù)測(cè)，2026年25%的人每天將至少在元宇宙中花費(fèi)一小時(shí)。

進(jìn)入元宇宙的方式到底是VR還是AR？VR AR 殊路同歸，之間的界限越來(lái)越模糊，最終將成為進(jìn)入元宇宙的設(shè)備之一。

蘋果在iOS14.5版本，更新了其短視頻剪輯軟件Clips。內(nèi)置LiDAR機(jī)型的用戶可使用AR功能。谷歌在2022年開(kāi)發(fā)者大會(huì)上也透露了具備實(shí)時(shí)翻譯功能的AR眼鏡。蘋果和谷歌對(duì)AR的持續(xù)投入，將帶動(dòng)全球AR各行各業(yè)的滲透。

蘋果Clips的AR功能

谷歌AR眼鏡實(shí)時(shí)翻譯功能

目前，有一些AR應(yīng)用程序與沉浸式技術(shù)無(wú)關(guān)，只是簡(jiǎn)單地模擬增強(qiáng)現(xiàn)實(shí)，或者根本不需要AR來(lái)實(shí)現(xiàn)（假AR）。找到真正非同尋常的AR解決方案，就像海底撈針一樣困難。有些是單純很酷，很好玩：

展示酷炫的AR效果

AR實(shí)時(shí)求解數(shù)獨(dú)

本文試圖從以下幾個(gè)方面，尋找那顆“針”：

* 場(chǎng)景，有哪些值得關(guān)注的消費(fèi)級(jí)場(chǎng)景？

場(chǎng)景1 Web AR

場(chǎng)景2 增強(qiáng)現(xiàn)實(shí)空間

場(chǎng)景3 沉浸式教育

場(chǎng)景4 沉浸式敘事

場(chǎng)景5 信息可視化

場(chǎng)景6 品牌與營(yíng)銷

場(chǎng)景7 游戲娛樂(lè)

場(chǎng)景8 數(shù)字寵物

* 設(shè)計(jì)，設(shè)計(jì)師可以做什么？

* 技術(shù)，基礎(chǔ)設(shè)施條件成熟了嗎？

* 交叉學(xué)科，顛覆式創(chuàng)新機(jī)遇

* AR歷史部分，本文暫不贅述

以下為正文：

?? 場(chǎng)景

有哪些值得關(guān)注的消費(fèi)級(jí)場(chǎng)景？

場(chǎng)景1

Web AR

AR正在推動(dòng)Web向前發(fā)展，搜索＋AR讓我們進(jìn)入Web三維時(shí)代。Google搜索，在結(jié)果中添加顯示“3D視圖”的選項(xiàng)，可以使用AR模式瀏覽。目前可用的3D內(nèi)容包括用于教育目的的一系列動(dòng)物和科學(xué)內(nèi)容。

然而，瀏覽器尚未完全實(shí)現(xiàn)統(tǒng)一標(biāo)準(zhǔn)的AR的能力，不過(guò)使用加載JS庫(kù)的方式，我們可以實(shí)現(xiàn)標(biāo)準(zhǔn)的Web AR能力，比如谷歌開(kāi)源的model-viewer，適配IOS和安卓，對(duì)于不支持AR的還有降級(jí)方案：網(wǎng)頁(yè)展示3D模型。

關(guān)于AR的圖像追蹤，面部追蹤等，得益于AI技術(shù)的發(fā)展，在web中運(yùn)行深度學(xué)習(xí)模型已經(jīng)變得非常容易，性能也比早些年有所提高，mind-ar-js 提供了基于Tensorflow.js的Image Tracking和Face Tracking。

演示了一個(gè)基于大白鯊3D模型的案例，可以讓你在真實(shí)環(huán)境中了解大白鯊的體型有多大。

Easily display interactive 3D models on the web & in AR

mind-ar-js的演示效果

場(chǎng)景2

增強(qiáng)現(xiàn)實(shí)空間

Spatial Augmented Reality，簡(jiǎn)稱SAR，指的是用戶不需要佩戴任何設(shè)備，只用裸眼就可以看到虛擬世界疊加在物理空間，通常使用投影儀。投影儀是一種設(shè)備，如何把虛擬世界和現(xiàn)實(shí)融合得更好，則需要空間理解相關(guān)的算法。

還有另一分支方向，就是跟主題樂(lè)園結(jié)合。主題樂(lè)園，一種實(shí)體空間，由于其娛樂(lè)的屬性，成為了AR技術(shù)的絕佳落地場(chǎng)景。用AR技術(shù)在特定的旅游地點(diǎn)設(shè)置虛擬活動(dòng)，游客抵達(dá)指定地點(diǎn)時(shí)，引導(dǎo)他們通過(guò)AR去”遇見(jiàn)“傳說(shuō)中或影視中的知名形象IP，并通過(guò)與虛擬形象互動(dòng)完成特定任務(wù)，完成體驗(yàn)。

來(lái)自developer.sony.com 投影儀里必須得看索尼的這款超短焦投影儀Xperia Touch，可將您的墻壁或桌子變成交互式觸摸屏。

Google申請(qǐng)了一項(xiàng)專利，希望通過(guò)了解人們所處的周圍環(huán)境，將相關(guān)的虛擬對(duì)象放置在混合現(xiàn)實(shí)視圖中。

當(dāng)用戶在智能手機(jī)或眼鏡上打開(kāi)AR體驗(yàn)時(shí)，應(yīng)用會(huì)在物理環(huán)境中尋找空白區(qū)域。通過(guò)判斷附近的物體，推斷物理空間的背景，以便可以識(shí)別出適合環(huán)境的相關(guān)虛擬物體。

有點(diǎn)類似于我們?cè)诰蹠?huì)時(shí)談到的，把現(xiàn)有的互聯(lián)網(wǎng)服務(wù)，比如電子郵件通過(guò)AR技術(shù)，復(fù)原為現(xiàn)實(shí)空間中的某種物體，比如家門口的收件箱。

Dreamground，這是三星技術(shù)和增強(qiáng)現(xiàn)實(shí)的強(qiáng)大組合，消費(fèi)者可以在這里探索，創(chuàng)造和玩耍。

場(chǎng)景3

沉浸式教育

使用AR，更為直觀地講述我們不容易可見(jiàn)的知識(shí)，比如生物實(shí)驗(yàn)、宇宙形成等，降低教學(xué)工具或材料的投入。

醫(yī)療健康業(yè)界對(duì)AR的投入特別顯著，3 D技術(shù)公司的3d4medical開(kāi)發(fā)了的解剖學(xué)軟件Complette Anatomiy軟件加入著AR功能。用戶在寬面制作可調(diào)整尺寸的標(biāo)本，在AR近距離感知標(biāo)本，進(jìn)行各操作。良好的造型讓用戶明確理解人體器官的大小和關(guān)系的大小，學(xué)習(xí)解剖練習(xí)操作。

Big Bang AR，為宇宙的誕生和進(jìn)化，制作了一個(gè)混合現(xiàn)實(shí)之旅，將帶您回到138億年前，探索空間，時(shí)間和可見(jiàn)宇宙是如何形成的。

場(chǎng)景4

沉浸式敘事

主要用于新聞/故事，新聞制作的一種形式，它允許第一人稱體驗(yàn)新聞報(bào)道和紀(jì)錄片中描述的事件或情況。它為觀眾創(chuàng)造了一種“在場(chǎng)”的感覺(jué)，并提供了一個(gè)親身參與故事的機(jī)會(huì)。

《時(shí)代周刊》雜志推出的一種體驗(yàn)新方式“TIME Immersive”。這款身臨其境的應(yīng)用程序可在谷歌游戲和Apple App Store中使用，利用AR和VR的強(qiáng)大功能，將故事和報(bào)道帶入生活。例如該APP允許用戶沉浸在1969年7月阿波羅11號(hào)登月的歷史當(dāng)中。

TIME AR應(yīng)用程序，“希望利用記者和攝影師的技能，以新的方式將與新聞相關(guān)的內(nèi)容帶給用戶”。從本質(zhì)上講，該APP旨在加深記者和觀眾之間更深層的聯(lián)系。

NASA 推出的首部交互式數(shù)字漫畫小說(shuō)《First Woman：NASA’s Promise for Humanity》，通過(guò)拍照，把用戶作為主角植入。

Acqua Alta 是一本彈出式立體書，其書本里的紙制建筑構(gòu)成了增強(qiáng)現(xiàn)實(shí)中的故事背景。使用AR技術(shù)，講述了《鏡中的十字架》這一故事。

場(chǎng)景5

信息可視化

信息可視化主要把一些圖表信息和需要高亮的特殊信息進(jìn)行AR的呈現(xiàn)，比如應(yīng)用于體育賽事里的對(duì)勝負(fù)取關(guān)鍵作用的信息（擊劍的劍光、足球的軌跡等）。

另一個(gè)跟信息可視化相關(guān)的是地圖。我們每天都在外奔波，只要頻繁與用戶接觸，就有了商業(yè)變現(xiàn)的機(jī)會(huì)，為了改進(jìn)出行的體驗(yàn)，地圖應(yīng)用開(kāi)始著手用AR來(lái)提升指路、導(dǎo)航的體驗(yàn)，更為可視化地指示方向（之前只看手機(jī)地圖，還是有很多人會(huì)走錯(cuò)路）

日本將AR應(yīng)用于擊劍比賽。在第72屆日本擊劍錦標(biāo)賽上，AR技術(shù)將劍尖端的軌跡可視化，將劍尖端運(yùn)動(dòng)的軌跡變成立體圖像。從而提高觀賞性，幫助裁判做出決定的人可以幫助選手復(fù)盤比賽。

谷歌發(fā)布了早些時(shí)候的AR步行指南，它的應(yīng)用范圍更廣。谷歌地圖（GoogleMaps）功能現(xiàn)在被稱為實(shí)時(shí)視圖，它可以通過(guò)使用箭頭和街道名稱實(shí)時(shí)幫助用戶在周圍環(huán)境中進(jìn)行引導(dǎo)。

場(chǎng)景6

品牌與營(yíng)銷

結(jié)合AR可以產(chǎn)生新的體驗(yàn)感受，促使消費(fèi)者參與其中，從而達(dá)成品牌/交易的目的，因而也成為了廣告營(yíng)銷的手段之一。產(chǎn)品化的AR營(yíng)銷技術(shù)，在AR品牌營(yíng)銷場(chǎng)景中開(kāi)始清晰，比如AR影像展、AR飲料瓶，如何在標(biāo)準(zhǔn)化的同時(shí)，設(shè)計(jì)一種靈活可定制的模塊，是此類產(chǎn)品的技術(shù)核心。

通過(guò)AR可以完成虛擬試妝和虛擬試穿。虛擬試妝主要用于口紅、美瞳等，虛擬試穿則有帽子、首飾、鞋子，通過(guò)AR試穿鞋子目前已經(jīng)比較成熟，也被各種鞋類品牌所采用。由于衣服類的對(duì)算法的要求較為復(fù)雜，目前暫未看到成熟的應(yīng)用。

百事可樂(lè)用AR營(yíng)銷，聯(lián)合《星球大戰(zhàn)：天行者崛起》發(fā)售限量可樂(lè)罐。百事可樂(lè)早些時(shí)候，還聯(lián)合過(guò)《蜘蛛俠：英雄遠(yuǎn)征》。

Pinfinity AR，AR與徽章、紀(jì)念品結(jié)合，本身IP具有收藏價(jià)值，通過(guò)AR賦予玩家個(gè)性化玩法，包括視頻、音頻等，使得用戶的參與感更強(qiáng)，更加凸顯出IP的收藏價(jià)值。

零售商 Tenth Street Hats 在網(wǎng)站上使用了 AR 技術(shù)，實(shí)時(shí)將帽子的圖像疊加到用戶的頭部，這樣用戶就可以通過(guò)手持設(shè)備試戴選定的帽子。AR 顯著提高了用戶的購(gòu)買信心。數(shù)據(jù)顯示，訂單轉(zhuǎn)化率提高了52%，同時(shí)消費(fèi)者使用該工具的時(shí)間越久，平均訂單價(jià)值就越高。

奢侈品品牌 Gucci 推出了一款幫助用戶虛擬試穿鞋類的 Snapchat AR 濾鏡。Snapchat 用戶可以在手機(jī)上選擇看中的鞋子，使用手機(jī)攝像頭進(jìn)行試穿。如果喜歡試穿的鞋款，就可以直接點(diǎn)擊“立即購(gòu)買”按鈕進(jìn)行購(gòu)買。

場(chǎng)景7

游戲娛樂(lè)

通過(guò)AR技術(shù)，玩家可以真實(shí)觸摸到實(shí)體化的游戲場(chǎng)景或者角色，比以往更具有沉浸感，包括在現(xiàn)實(shí)世界中玩游戲和與游戲人物合影留念等。

任天堂《馬里奧賽車Live:家庭巡回賽》。該游戲?qū)ⅠR里奧大叔搬到現(xiàn)實(shí)中,玩家可以真實(shí)觸摸到實(shí)體化的游戲角色,與AR技術(shù)的結(jié)合讓馬里奧系列游戲比以往的更具有沉浸感。

AR Poser 能讓用戶和數(shù)字人物合影。迪士尼研究院Disney Research在探索各種不同的技術(shù)應(yīng)用，其中一項(xiàng)技術(shù)AR Poser。通過(guò)識(shí)別攝像頭前的人類用戶姿勢(shì)。系統(tǒng)調(diào)用姿勢(shì)庫(kù)中最為接近的一組預(yù)定3D姿勢(shì)，從而數(shù)字人物和人類較為合適地?cái)[放在一起，完成合影。

場(chǎng)景8

數(shù)字寵物

1996年，日本人橫井昭裕發(fā)明了一款新玩具，新玩具命名為Tamagotch，是蛋Tamago和手表Watch二詞結(jié)合的新創(chuàng)詞，在中國(guó)我們稱為電子寵物。從那時(shí)候起，我們就開(kāi)始習(xí)慣電子寵物的玩法，給寵物投喂、洗澡、鏟屎，如此循環(huán)，把寵物養(yǎng)大直至死亡。利用AR技術(shù)，包括手勢(shì)識(shí)別、3D引擎等技術(shù)，現(xiàn)在我們可以領(lǐng)養(yǎng)一只更為真實(shí)、生動(dòng)的數(shù)字生物。

HamstAR 是一款移動(dòng)端的 AR 游戲，它是一個(gè)電子寵物，用戶可以通過(guò)手機(jī)或者穿戴一個(gè)小型硬件設(shè)備來(lái)和一只數(shù)字寵物-倉(cāng)鼠互動(dòng)。

?? 設(shè)計(jì)

設(shè)計(jì)師可以做什么？

從事AR項(xiàng)目的設(shè)計(jì)師扮演著探險(xiǎn)家的角色。他們?cè)囼?yàn)并嘗試各種方法，以便找到最適合自己產(chǎn)品的方法，并為將要使用它的人提供價(jià)值。

設(shè)計(jì)師可以設(shè)計(jì)獨(dú)特的跨屏協(xié)同體驗(yàn)。手機(jī)和電腦有各自適用的場(chǎng)景，而AR可以引入現(xiàn)實(shí)空間，相當(dāng)于有了3塊屏幕，互相之間會(huì)碰撞出什么火花？甚至是設(shè)計(jì)超乎用戶預(yù)期的體驗(yàn)，隔空取物的體驗(yàn)。

借助各種AR開(kāi)放能力，設(shè)計(jì)師還可以設(shè)計(jì)各種各樣的AR濾鏡，甚至是鞋子，比如在臉上涂鴉、空間中的AR布展等等。

另外，對(duì)于空間設(shè)計(jì)師而言，可以如何參與到AR的設(shè)計(jì)中呢？在黑設(shè)會(huì)聚會(huì)中，嘉賓給我們介紹了視錯(cuò)覺(jué)空間藝術(shù)，其中有一個(gè)手法是使用格子來(lái)變換空間，這在AR空間變換中絕對(duì)是“萬(wàn)金油”。我們可以采用格子來(lái)產(chǎn)生獨(dú)特的空間體驗(yàn)。這是設(shè)計(jì)師可以發(fā)力的地方，研究變換空間的手法，應(yīng)用到AR空間里。

微軟Your Phone、戴爾Dell Mobile Connect，華為Huawei Share 和聯(lián)想Lenovo one 等，相繼發(fā)布類似的功能：將手機(jī)投射到 PC，投屏似乎成了一種趨勢(shì)。本質(zhì)上，投屏的目的是為了協(xié)同（協(xié)作）。

adobe有一款應(yīng)用，老師在電腦上標(biāo)注，學(xué)生通過(guò)手機(jī)AR查看書籍上的標(biāo)注，實(shí)現(xiàn)了不同屏幕、不同用戶角色的互動(dòng)。

一款由Cyril Diagne（藝術(shù)家/設(shè)計(jì)師/程序員）所開(kāi)發(fā)的可“克隆萬(wàn)物”的app。一部手機(jī)，基本只靠對(duì)準(zhǔn)鏡頭，然后移動(dòng)，即可完成以往至少需要5個(gè)步驟才能完成的工作：手機(jī)拍照、傳輸至電腦、摳圖、復(fù)制粘貼、調(diào)整位置。再一次驗(yàn)證了一項(xiàng)新技術(shù)的本質(zhì)是由各種以往的小技術(shù)所重組而成。新技術(shù)帶來(lái)了新體驗(yàn)，AR作為連接虛擬與現(xiàn)實(shí)的橋梁，實(shí)現(xiàn)了屏幕之間的“物理交流”，體驗(yàn)由此超越用戶預(yù)期。

借助于Tensorflow.js, FaceMesh 和 Three.js，實(shí)現(xiàn)在臉上涂鴉。

運(yùn)動(dòng)品牌 Nike 申請(qǐng)了一個(gè)能夠讓設(shè)計(jì)師通過(guò) AR 提高工作效率的專利。這個(gè)系統(tǒng)允許設(shè)計(jì)師通過(guò)佩戴的 AR 設(shè)備顯示出在3D軟件所設(shè)計(jì)的衣服或者球鞋。設(shè)計(jì)的產(chǎn)品也可以疊加到現(xiàn)實(shí)世界。

空間視錯(cuò)覺(jué)的設(shè)計(jì)手法

?? 技術(shù)

基礎(chǔ)設(shè)施條件成熟了嗎？

硬件方面，AR眼鏡能否跟手機(jī)一樣人手一部呢？成為日常的隨身攜帶物品。有人認(rèn)為蘋果將在 2025 年發(fā)布一款智能眼鏡外形的 AR 設(shè)備，并且在 2030 年將會(huì)發(fā)布隱形眼鏡形態(tài)的 AR 設(shè)備。

算法方面，依賴于三維重建，我們可以把網(wǎng)絡(luò)世界與真實(shí)世界的社交進(jìn)行融合。通過(guò)把現(xiàn)實(shí)中的人、物體帶入虛擬世界，AR有了豐富多樣的3D數(shù)字內(nèi)容可以使用。

除了3D數(shù)字內(nèi)容本身的創(chuàng)作之外，專業(yè)級(jí)開(kāi)發(fā)工具方面，Google有ARCore增強(qiáng)現(xiàn)實(shí)體驗(yàn)構(gòu)建平臺(tái)。ARCore 利用不同的 API 讓您的手機(jī)能夠感知其環(huán)境、理解現(xiàn)實(shí)世界并與信息進(jìn)行交互。一些在 Android 和 iOS 上同時(shí)提供的 API 支持共享 AR 體驗(yàn)。

非專業(yè)級(jí)玩家，有易于使用的工具，構(gòu)建AR項(xiàng)目。使沒(méi)有技術(shù)背景的人們創(chuàng)造和創(chuàng)新成為可能，無(wú)需編碼即可創(chuàng)建AR項(xiàng)目。

設(shè)計(jì)師自制概念圖圖片來(lái)自：AntonioDeRosa

in3D 人體重建，它可以對(duì)你的身體進(jìn)行建模，并可拓展其他應(yīng)用，每個(gè)人借此都擁有了虛擬世界的真實(shí)化身。

Display.land，采用類似于攝影測(cè)量法的原理，支持SLAM定位，可以讓你通過(guò)智能手機(jī)或平板電腦的攝像頭就能捕捉到真實(shí)環(huán)境的3D建模，準(zhǔn)確性可達(dá)厘米級(jí)別。

在打開(kāi)Display.land的iOS端或安卓端應(yīng)用后，你便可以開(kāi)始掃描環(huán)境，在完成掃描后，將捕捉到的數(shù)據(jù)上傳至云端的服務(wù)器進(jìn)行處理。接著，你可以對(duì)處理完成的3D掃描結(jié)果進(jìn)行標(biāo)記和編輯，并可在線分享給朋友。

Siggraph2022上一篇論文，直接使用照片重建文化遺跡，該項(xiàng)目介紹了一種用于在存在不同光照的情況下，從互聯(lián)網(wǎng)照片集進(jìn)行高效和準(zhǔn)確的表面重建圖片生成3D模型的新方法。

微軟公司利用人工智能三維重建技術(shù)以數(shù)字方式保護(hù)和恢復(fù)文化遺產(chǎn)

谷歌ARCore developers.google.cn/ar

一款基于web AR.js的工具，可以簡(jiǎn)單三步就完成AR項(xiàng)目的構(gòu)建。AR.js Studio是一個(gè)能夠讓大眾免費(fèi)構(gòu)建Web AR而無(wú)需編寫代碼的一個(gè)網(wǎng)站。讓用戶無(wú)需登錄，只需訪問(wèn)他們的URL鏈接，即可選擇呈現(xiàn)的方式（基于標(biāo)記的AR，基于位置的AR，基于圖像的AR），然后便可開(kāi)始使用向?qū)搅鞒掏瓿扇康臉?gòu)建。

抖音特效開(kāi)放平臺(tái)，提供AR創(chuàng)作工具 effect.douyin.com

Spark AR是Facebook創(chuàng)作AR的平臺(tái)，使用戶能夠?yàn)镕acebook和Instagram創(chuàng)建交互式增強(qiáng)現(xiàn)實(shí)體驗(yàn)。

?? 交叉學(xué)科

顛覆式創(chuàng)新機(jī)遇？

AR既是一項(xiàng)技術(shù)，也是新的設(shè)計(jì)手法?？梢员桓餍懈鳂I(yè)所采用，于是具備了跨學(xué)科的可能。當(dāng)兩種不同領(lǐng)域的東西重組在一起，往往能找到創(chuàng)新的機(jī)會(huì)。

AR增強(qiáng)平面設(shè)計(jì)，這個(gè)項(xiàng)目叫Post-print。2017年啟動(dòng)，是畢業(yè)生 Serafim Mendes 在 ESAD Matosinhos 的 Communication Design 碩士論文/期末項(xiàng)目的成果。這是一個(gè)旨在探索增強(qiáng)現(xiàn)實(shí)(AR)與平面設(shè)計(jì)的創(chuàng)造性可能性的項(xiàng)目。通過(guò)使用實(shí)時(shí)的、交互式的 3D 動(dòng)態(tài)視覺(jué)作為交流工具。

增強(qiáng)的內(nèi)容層可以為設(shè)計(jì)增加深度和移動(dòng)性，它還可以創(chuàng)建新的信息層，從而為觀看者帶來(lái)更具交互性和吸引力的體驗(yàn)。

視覺(jué)傳達(dá)方面，有一個(gè)叫Super You的項(xiàng)目，由頂級(jí)創(chuàng)意工作室 Universal Everything開(kāi)發(fā)，這款 APP 利用 AR 技術(shù)，可以讓用戶將朋友的裝扮轉(zhuǎn)變?yōu)楠?dú)特的造型。只要用攝像頭對(duì)準(zhǔn)用戶，就能識(shí)別出他的衣服顏色，自動(dòng)轉(zhuǎn)換成對(duì)應(yīng)的AR 圖案和顏色。

交互設(shè)計(jì)方面，是一種人機(jī)交互技術(shù)與設(shè)計(jì)的交叉方向。AR響應(yīng)式手繪技術(shù)RealitySketch，是一種用于繪制交互式圖形和可視化效果的增強(qiáng)現(xiàn)實(shí)界面交互技術(shù)方案。此項(xiàng)技術(shù)/設(shè)計(jì)，可用于增強(qiáng)物理實(shí)驗(yàn)、交互式可探索的概念表達(dá)、運(yùn)動(dòng)鍛煉的可視化、控制虛擬物體。

以上為全文，你關(guān)心哪些消費(fèi)級(jí)場(chǎng)景呢？歡迎一起探索研究。