近眼顯示技術(shù)專家卡爾·古塔格（Karl Guttag）對蘋果Vision Pro的分析
（映維網(wǎng)Nweon 2023年08月07日）近眼顯示技術(shù)專家卡爾·古塔格（Karl Guttag）正繼續(xù)介紹他對蘋果Vision Pro的分析。本文主要針對通過虛擬屏幕替換物理屏幕的用例。
延伸閱讀：顯示技術(shù)專家Karl：Vision Pro vs Quest Pro 的技術(shù)對比
https://news.nweon.com/108740
延伸閱讀：顯示技術(shù)專家Karl：Vision Pro的硬件問題分析探討
https://news.nweon.com/108881
延伸閱讀：顯示技術(shù)專家Karl：從FOV分析Vision Pro的觀影體驗(yàn)效果
https://news.nweon.com/109295
延伸閱讀：顯示技術(shù)專家Karl：Vision Pro的Pancake光學(xué)元件分析
https://news.nweon.com/109309
如同大多數(shù)AR/VR頭顯一樣，蘋果Vision Pro演示的一個(gè)重要用例是顯示多個(gè)虛擬屏幕。然而，由于分辨率等問題，近眼顯示技術(shù)專家卡爾·古塔格認(rèn)為目前用虛擬屏替代物理屏是荒謬的想法，并介紹了相關(guān)的原因。
摘要
正如第一篇博文所寫的一樣，“我沒怎么看到有技術(shù)分析，同時(shí)沒怎么看到有對虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)的問題具有深刻認(rèn)識的人。至少他們沒有提到在我看來十分明顯的問題?！?/p>
我上個(gè)月一直在撰寫這篇博文，我希望量化為什么“VR頭顯（即便是蘋果的頭顯）將取代物理屏”是一個(gè)荒謬的想法。在寫這篇文章的時(shí)候，我認(rèn)為有必要納入一系列的背景資料和其他信息。由于文章越來越長，我決定把它分成兩部分，本文是第一部分。
文章將使用Meta Quest Pro（MQP）進(jìn)行演示，因?yàn)檫@是目前市場最接近蘋果的設(shè)備，而且它聲稱可以替代物理屏。然后，我會(huì)把結(jié)果轉(zhuǎn)換為分辨率更高但依然不夠高的Apple Vision Pro （AVP）。AVP必須解決與MQP相同的所有問題。
對于文字處理、電子表格、演示文稿和互聯(lián)網(wǎng)瀏覽等辦公應(yīng)用程序，它們都意味著要處理文本。正如本文將要討論的一樣，文本是一種特殊情況，它是通過一定的“作弊”來提高清晰度和可讀性。本文同時(shí)會(huì)討論在3D空間中提供虛擬顯示器的分辨率問題。
極低每度像素
撰寫這篇文章令我想起了上世紀(jì)80年代中期的經(jīng)驗(yàn)教訓(xùn)，當(dāng)時(shí)我是第一個(gè)完全可編程圖形處理器TMS34010的技術(shù)負(fù)責(zé)人。TMS340的開發(fā)始于1982年，在Apple Macintosh（1984年）或Lisa（1983年）問世之前（它們每像素只有1位）。但和所述產(chǎn)品一樣，TMS34010的工作受到了施樂帕洛阿爾托研究中心的影響。當(dāng)時(shí)，只有非常昂貴的CAD和CAM系統(tǒng)能夠擁有“位圖圖形”，所有PC/家用電腦的文本都是單一尺寸和等寬。如果有彩色圖形，它們的分辨率會(huì)非常低（~320×200像素）。IBM在1987年推出了VGA （640×480）和XGA（1024×768），這是他們的第一批IBM PC方形像素彩色顯示器。
最初的XGA顯示器在當(dāng)時(shí)屬于“高分辨率”，16英寸對角線和82 PPI，從0.5米到0.8米分別轉(zhuǎn)換為每度36到45像素PPD。考慮到預(yù)計(jì)的視場和分辨率，Apple Vision Pro的分辨率在35到40 PPD之間，與1987年的顯示器大致相同。
所以，是時(shí)候撣掉DeLorean的灰塵（《回到未來》中的時(shí)空穿梭汽車），回到20世紀(jì)80年代中期的低PPD顯示器的技術(shù)問題。只是這一次情況更糟，因?yàn)樵?0世紀(jì)80年代，當(dāng)用戶的頭部移動(dòng)時(shí)，我們不需要在3D空間中重新采樣/調(diào)整所有內(nèi)容，從而產(chǎn)生顯示器沒有移動(dòng)的錯(cuò)覺。
問題是，“人們會(huì)將AVP用作計(jì)算機(jī)顯示屏嗎？”，而不是“人們是否可以將AVP用作計(jì)算機(jī)顯示屏”
對于相關(guān)的營銷圖片，蘋果和Meta都暗示他們的頭顯將會(huì)成為物理顯示屏的替代品。是的，如果你已經(jīng)絕望，沒有其他可用，它們確實(shí)可以作為顯示器“工作”，但擁有多個(gè)糟糕的顯示器并不是大多數(shù)人想要的解決方案。相關(guān)的營銷概念沒有傳達(dá)這樣一個(gè)信息：每個(gè)虛擬顯示器的有效分辨率都極低，要閱讀則必須放大文本，所以每個(gè)顯示器的內(nèi)容更少。他它們同時(shí)沒有傳達(dá)出文本看起來存在顆粒狀和閃爍感的信息。
上面是MQP的Horizons Virtual Desktop的全景圖，是通過左眼光學(xué)透鏡看到的效果。其中，相機(jī)居中以獲得最佳圖像質(zhì)。幾乎所有左眼的水平視場FOV都顯示在圖片中，但相機(jī)稍微切斷了頂部和底部。
上圖是我的桌面設(shè)置，左邊是34英寸22:9 3440×1400顯示器，右邊是27英寸4K顯示器。目前，這兩款顯示器的總成本不到1000美元。22:9的顯示器顯示設(shè)置為100%縮放，電子表格中的字體為11pt。右邊的顯示器設(shè)置為150%縮放，使用11pt字體，過濾物理大小相同的字體。
在0.5到0.8米遠(yuǎn)的距離（典型的桌面顯示器距離），盡管MQP的“11pt”就角度而言要大1.5倍，但我認(rèn)為這兩款物理顯示器的11pt字體比Meta Quest Pro的11pt字體（縮放比例為150%）更容易閱讀。MQP的文本十分模糊，呈現(xiàn)顆粒狀和閃爍。在更高的角度分辨率下，AVP將比MQP更好，但依然遠(yuǎn)低于可讀文本的數(shù)量。
關(guān)于窗口縮放的說明
在Windows中，100%意味著理論上每英寸96個(gè)點(diǎn)。顯示器的報(bào)告信息給出了“尺寸和布局”建議（上圖）。MQP的Horizons Virtual Desktop報(bào)告的分辨率為1920×1200，建議的縮放比例為150%。這是我對大多數(shù)照片使用的設(shè)置，除了寫明100%或175%縮放的照片。
光學(xué)元件
我不打算討論VR光學(xué)元件的所有問題，本文討論的是在辦公應(yīng)用程序中閱讀文本的能力。VR光學(xué)在成本、空間、重量和寬視場方面存在諸多限制。盡管Pancake光學(xué)比常見的菲涅耳透鏡有了重大改進(jìn)，但到目前為止，它們的光學(xué)性能依然很差。
盡管視場中心不錯(cuò)，但它們通常有嚴(yán)重的針墊形畸變和色度畸變。Pancake光學(xué)更容易收集和散射光，導(dǎo)致對象在黑暗的背景下發(fā)光，對比度降低，拖影（失焦反射）。對于PC顯示器，沒有光學(xué)元件會(huì)引起所述問題。
光學(xué)畸變
MQP的光學(xué)元件存在非常大的針墊形畸變。MQP的顯示處理器對顯示光學(xué)元件嚴(yán)重的針墊形畸變進(jìn)行了數(shù)字預(yù)校正。這種校正在重采樣過程中會(huì)損失一定的保真度。
上方的圖像顯示了向顯示器饋送的視頻。在右下角的圖像中，扭曲和旋轉(zhuǎn)已經(jīng)經(jīng)過數(shù)字校正，但沒有顯示其他光學(xué)問題。
左眼和右眼同樣存在光學(xué)“裁剪”，分別用青色和紅色虛線表示。所示的光學(xué)裁剪是基于我的觀察和照片。
預(yù)畸變校正肯定會(huì)影響圖像質(zhì)量。采用類似Pancake光學(xué)元件的AVP很可能會(huì)有類似的預(yù)校正需求。即便MQP顯示器是旋轉(zhuǎn)的，由于存在一系列的其他轉(zhuǎn)換/重新縮放，如果旋轉(zhuǎn)與它們結(jié)合（而不是作為單獨(dú)的轉(zhuǎn)換進(jìn)行），顯示器的旋轉(zhuǎn)對分辨率的影響可能可以忽略不計(jì)。當(dāng)在3D空間中轉(zhuǎn)換時(shí)，光學(xué)質(zhì)量畸變和文本分辨率的損失是更大的問題。
雙目重疊與雙眼競爭
雙目系統(tǒng)改善整體視場的方法之一是，左眼和右眼的視場只部分重疊（見上圖）。論文《優(yōu)化立體增強(qiáng)現(xiàn)實(shí)顯示器視場的感知指南》和文章《理解雙目重疊以及為什么它對VR頭顯很重要》討論了雙目重疊的問題。大多數(shù)光學(xué)AR/MR系統(tǒng)都有完全或幾乎完全的重疊，而VR頭顯通常有大量的部分重疊。
部分重疊增加了雙眼結(jié)合時(shí)的總視場。部分重疊的問題發(fā)生在邊界，一個(gè)視場結(jié)束在另一只眼睛視場的中間。其中，一只眼睛看到圖像逐漸變黑。這是雙眼競爭的一種形式，它留給視覺皮層來整理所看到的內(nèi)容。視覺皮層會(huì)以一種理想的方式將其整理出來，但會(huì)有一定的偽影。大多數(shù)情況下，視覺皮層會(huì)選擇看起來更亮的那只眼睛（大腦皮層會(huì)選擇一只，而不是平均），但過渡區(qū)域可能會(huì)有問題。另外，一個(gè)人的注意力會(huì)集中在會(huì)影響所看所感的位置。
在MQP的情況下，當(dāng)從起始位置觀看時(shí)，雙眼重疊的區(qū)域略小于中心顯示器的寬度。下圖顯示的是將顯示器居中置于雙眼視場時(shí)，且通過左眼看到的畫面：
當(dāng)我把注意力集中在中心時(shí)，我沒有注意到任何問題，但當(dāng)我觀察整個(gè)圖像時(shí)，我可以看到這種過渡環(huán)，特別是在圖像較亮的部分。
Quest 2似乎有更多的重疊。上圖通過左眼看到的視圖，相機(jī)的位置與MQP類似。注意左眼的視場是如何與中央顯示器重疊。我沒有注意到Meta Quest 2的過渡“環(huán)”。
雙目重疊并不是VR廠商喜歡談及的話題之一，他們更愿意談?wù)摳蟮囊晥觥?/p>
在AVP的情況下，觀察其光學(xué)系統(tǒng)中雙眼重疊的數(shù)量，以及它是否會(huì)影響虛擬顯示器的視圖，這將非常有趣。人們希望重疊部分的寬度超過“典型”虛擬顯示器的寬度，但如果顯示器可以任意大小并放在3D空間的任何位置，則“典型”意味著什么呢？
嵌入一個(gè)虛擬顯示器使用了頭顯大約一半的垂直像素
MQP的桌面演示了在保持顯示器靜止的同時(shí)，將虛擬顯示器插入VR視場的基本問題。在不截?cái)囡@示器的情況下允許頭部運(yùn)動(dòng)有一定的余地，否則會(huì)分散注意力。
MQP使用16:10的寬高比，1920×1200像素“虛擬顯示器”。多個(gè)虛擬顯示器映射到MQP的1920×1800物理顯示器中。直視前方，看著桌面，你會(huì)看到中央顯示器和大約30%的兩側(cè)顯示器。
中央顯示器的中心使用了大約880個(gè)像素，大約是MQP物理顯示器1800個(gè)垂直像素的一半。中央顯示器的工作距離約為1.5米，大約是典型計(jì)算機(jī)顯示器距離的2到3倍。這使得“頭部前傾以使圖像更大”無效。
蘋果的AVP擁有類似的視場，在放置虛擬顯示器方面存在類似的限制。在顯示整個(gè)顯示器并允許用戶有一定空間移動(dòng)他們頭部，以及避免截?cái)囡@示器的顯示器兩側(cè)之間有一個(gè)不可避免的妥協(xié)。
簡化縮放示例：渲染像素大小的點(diǎn)
考慮勾畫一個(gè)小圓點(diǎn)，在所有的3D變換之后，它的尺寸大約是一個(gè)像素。在下圖中，像素邊界用藍(lán)線表示。下圖中的四列顯示了渲染點(diǎn)和像素網(wǎng)格之間無數(shù)關(guān)系中的一些。
第一行顯示了相對于網(wǎng)格的四個(gè)點(diǎn)。第二行根據(jù)質(zhì)心打開最近的像素。在第三行中，使用一個(gè)簡單的平均值來繪制像素，其中4個(gè)像素的平均值應(yīng)該等于一個(gè)像素的亮度。第四行顯示了虛擬點(diǎn)的低通濾波器。第五行根據(jù)點(diǎn)的低通濾波版本的平均值呈現(xiàn)像素。
質(zhì)心方法最銳利，并且保持點(diǎn)的大小不變，但位置會(huì)隨著最輕微的頭部運(yùn)動(dòng)而跳躍。如果許多點(diǎn)組成一個(gè)對象，則這個(gè)對象的形狀就會(huì)出現(xiàn)畸變。使用簡單平均法，“質(zhì)心”比質(zhì)心方法更精確，但點(diǎn)的形狀會(huì)根據(jù)對齊/移動(dòng)而發(fā)生巨大變化。低通濾波方法在質(zhì)心方面的平均值更好，并且基于對齊的形狀變化較小，但現(xiàn)在單個(gè)像素大小的圓在9個(gè)像素以上被模糊掉。
重采樣/縮放存在很多變化，但它們都有權(quán)衡。一個(gè)權(quán)衡是改變形狀和位置，運(yùn)動(dòng)與銳度。對于包括Apple Vision Pro在內(nèi)的低PPD顯示器，文本的一個(gè)重要問題是，從句號到字母的圓點(diǎn)，再到小文本字體的筆畫寬度，許多特征將接近1像素。
縮放文本：40多年的計(jì)算機(jī)網(wǎng)格擬合
從一開始，個(gè)人電腦就處理每英寸低像素的顯示器，根據(jù)典型的觀看距離轉(zhuǎn)換成每度低像素。文本充滿了精細(xì)的細(xì)節(jié)，并且通常具有完美的水平和垂直筆畫，即便使用今天更高的PPI顯示器，其都會(huì)導(dǎo)致像素對齊問題。文本是如此重要，如此普遍，以至于它得到了特殊的對待。每個(gè)人都為了讓文字看起來更好而“作弊”。
字體既要易于識別，又不能太大，否則眼睛必須大量移動(dòng)，而且要在一個(gè)屏幕顯示信息少、內(nèi)容不那么密集的內(nèi)容。大字體每次顯示的內(nèi)容更少，眼球運(yùn)動(dòng)更多，從而令肌肉酸痛。
在20世紀(jì)80年代早期到中期，PC將看起來粗糙的固定空間變成了按比例間隔的文本和精心制作的手工字體，而當(dāng)時(shí)只有幾種字體大小可供選擇。字體邊緣進(jìn)行了平滑，使其看起來更好。今天，大多數(shù)字體都是從一個(gè)帶有“hint”的模型中渲染出來，以幫助字體在像素網(wǎng)格上看起來更好。TrueType最初是由蘋果開發(fā)，蘋果和微軟Windows都在使用它，并且在網(wǎng)格擬合的字體定義中包含“hint”。
簡單地說，網(wǎng)格擬合嘗試通過稍微修改字體的形狀和位置（垂直和水平間距），使字體的水平和垂直筆畫落在像素網(wǎng)格上。這樣做需要更少的平滑/抗鋸齒，不會(huì)使字體看起來參差不齊。這是因?yàn)橛?jì)算機(jī)顯示器像素位于矩形網(wǎng)格上，并且在大多數(shù)文本應(yīng)用程序中，字體是按水平行繪制的。
幾乎所有的字體渲染都是網(wǎng)格匹配。蘋果（和Adobe）一直嘗試在低PPI顯示器保持文本大小和間距更準(zhǔn)確，但會(huì)損失一定的字體清晰度和可讀性（這對蘋果來說是一個(gè)簡單的解決方案，因?yàn)樗麄兿Ｍ阗徺I更高的PPI顯示器）。帶有ClearType的微軟Windows和帶有LCD字體平滑功能的蘋果都可以通過利用紅綠藍(lán)并排子像素的LCD，從而嘗試進(jìn)一步改善字體。
但當(dāng)顯示器虛擬化時(shí)，整個(gè)網(wǎng)格擬合方案就崩潰了。水平和垂直的筆畫轉(zhuǎn)換成對角線。由于網(wǎng)格擬合不起作用，所以虛擬顯示器的顯示需要比物理顯示器的角度分辨率高得多，這樣才能以相似的清晰度顯示相同大小的字體。然而，在今天以及可預(yù)見的未來，VR顯示器的分辨率都不會(huì)太高。
固定在3D空間的虛擬顯示器打破了“像素網(wǎng)格”
最輕微的頭部運(yùn)動(dòng)都意味著一切都必須重新渲染。你想要渲染文本的“網(wǎng)格”不是虛擬顯示器，而是頭顯的顯示器。這至少有兩種主要方法:
每一幀從零開始重新渲染所有內(nèi)容：這將提供最好的理論圖像質(zhì)量，但這是非常密集的處理，大多數(shù)傳統(tǒng)應(yīng)用程序都不支持。簡單地說，應(yīng)用程序的結(jié)構(gòu)是根據(jù)固定大小和方向的物理像素進(jìn)行繪制。
渲染到一個(gè)“更高”的分辨率（如果可能），然后縮放到頭顯的物理像素。
人們希望渲染至少是覆蓋相同區(qū)域的頭顯物理像素的2倍（線性，4倍像素），以防止在縮小過程后圖像質(zhì)量顯著下降。
在3D空間中，高分辨率的虛擬圖像轉(zhuǎn)換到虛擬顯示器的表面上。如果用戶可以在這里、那里和任何地方放置多個(gè)顯示器，并且可以從任何角度和距離查看，則虛擬顯示器的處理就會(huì)變得復(fù)雜。每個(gè)虛擬顯示器所需的渲染分辨率取決于與眼睛的虛擬距離。
即便使用這種方法，依然會(huì)存在PC在40多年來處理固定像素網(wǎng)格所遺留下來的“應(yīng)用問題”。
網(wǎng)格拉伸變得適得其反，因?yàn)樗鼈兝斓教摂M顯示器而不是物理顯示器。
系統(tǒng)最終將采用兩種方法的混合，將“新的”3D應(yīng)用程序與傳統(tǒng)辦公應(yīng)用程序混合在一起。
嵌入一個(gè)虛擬顯示器使用了頭顯大約一半的垂直像素
MQP的Horizons似乎可以渲染虛擬顯示器，然后在3D空間中重新渲染它們，同時(shí)使用圓柱形效果以及針對Pancake透鏡畸變的預(yù)校正。
MQP的桌面演示了在保持顯示器靜止的同時(shí)，將虛擬顯示器插入VR視場的基本問題。在不切斷顯示器的情況下允許頭部運(yùn)動(dòng)有一定的余地，否則會(huì)分散注意力。另外，雙目重疊切斷顯示器已在上面討論過。
MQP使用16:10的寬高比，1920×1200像素“虛擬顯示器”。多個(gè)虛擬顯示器映射到MQP的1920×1800物理顯示器中。直視前方，看著桌面，你會(huì)看到中央顯示器和大約30%的兩側(cè)顯示器。
中央顯示器的中心使用了大約880個(gè)像素，大約是MQP物理顯示器1800個(gè)垂直像素的一半。中央顯示器的工作距離約為1.5米，大約是典型計(jì)算機(jī)顯示器距離的2到3倍。這使得“頭部前傾以使圖像更大”無效。
中央顯示器的表現(xiàn)就像它在大約1.5米的距離之外，或者大約是典型計(jì)算機(jī)顯示器距離的2到3倍。這使得“頭部前傾以使圖像更大“的效果大大降低（降低2到3倍）。
蘋果的AVP擁有類似的視場，在放置虛擬顯示器方面存在類似的限制。在顯示整個(gè)顯示器并允許用戶有一定空間移動(dòng)他們頭部，以及避免切斷顯示器的顯示器兩側(cè)之間有一個(gè)不可避免的妥協(xié)。
預(yù)畸變校正肯定會(huì)損害圖像。有可能使用類似Pancake光學(xué)的AVP同樣會(huì)有類似的預(yù)校正需求。但是，這可以合并到其他轉(zhuǎn)換中，并且可能不會(huì)顯著影響處理需求或圖像質(zhì)量。
縮放文本的簡化示例
下圖是測試圖案的一個(gè)單元格，有兩行文本和一些1像素和2像素寬的線條，并顯示了縮放過程的模擬（在Photoshop中）。在這次測試中，我選擇了一個(gè)175%縮放的11pt字體，其像素?cái)?shù)量應(yīng)該與Apple Vision Pro上11pt字體100%縮放時(shí)的像素?cái)?shù)量大致相同。這個(gè)模擬極大地簡化了所述問題，但顯示了像素發(fā)生了什么。MQP和AVP必須支持六自由度重采樣和光學(xué)預(yù)校正畸變。
旁注：這個(gè)測試圖案偶然地在g和k之間有一個(gè)“i”而不是“j”，這是我在編輯后期發(fā)現(xiàn)的。
像素放大了600%（在全尺寸圖像中），并且顯示了一個(gè)網(wǎng)格來查看單個(gè)像素。在右上方的源已縮放了64%，這與MQP Horizons縮放1920×1200虛擬顯示器中心的尺寸大致相同。右下角的圖像縮放了64%，并旋轉(zhuǎn)了1度以模擬頭部傾斜。
如果仔細(xì)觀察模擬中縮放后的1像素和2像素寬的線，你會(huì)注意到有時(shí)1像素寬的線與2像素寬的線一樣寬，但更暗。你同時(shí)會(huì)看到，即便沒有任何旋轉(zhuǎn)，從一行到另一行的相同字體在縮放時(shí)看起來都不同。透過透鏡單元查看，字體在顏色子像素顯示時(shí)進(jìn)一步退化/軟化。
下圖使用了MQP，是11pt 175%字體在足夠高的分辨率下看到顏色子像素的樣子。等字體經(jīng)歷了各種各樣的縮放后，它們就會(huì)很完美。如果仔細(xì)觀察不同位置的相同字體（例如小數(shù)點(diǎn)后的“7”），你會(huì)注意到每個(gè)實(shí)例都是不同的，但在傳統(tǒng)的物理顯示器，由于網(wǎng)格擬合，它們都是相同的。
作為參考，下面給出了完整的測試圖案和虛擬顯示器的圖像。相機(jī)的曝光設(shè)置得很低，這樣像素就不會(huì)失去所有的顏色。
閃爍的文字
在查看MQP時(shí)，文本會(huì)閃爍。這是因?yàn)闆]有人可以保持頭部完全靜止，并且每個(gè)文本字符在每一幀上都重新繪制，與物理像素的對齊略有不同，導(dǎo)致文本扭曲和閃爍。
縮放/重采樣可以用更銳利或更柔和的處理來完成。遺憾的是，重新采樣后的圖像越清晰，它就越會(huì)隨著運(yùn)動(dòng)而扭動(dòng)。避免這種扭曲并獲得清晰圖像的唯一方法是擁有更高的PPD。MQP只有22.5 PPD，AVP大約有40 PPD，所以應(yīng)該會(huì)更好，但我認(rèn)為他們需要80 PPD才能消除問題。
MQP（和大多數(shù)顯示器）使用單獨(dú)的紅色、綠色和藍(lán)色子像素的空間顏色，所以扭動(dòng)是在亞像素級別。下面的圖片顯示了相同的文本，透鏡之間略有移動(dòng)。
下面是兩張照片的視頻。右邊的14pt字體與Apple Vision Pro的11pt字體的像素?cái)?shù)大致相同。
結(jié)論
對于將包括MQP和Apple Vision Pro在內(nèi)的任何頭顯用作物理顯示器的替代品，這個(gè)想法在任何正式的分析中都會(huì)敗下陣來。通過使用一個(gè)華麗的簡短演示，它們可能會(huì)給外行人留下深刻印象，甚至是大為震撼。但是，用它們來取代物理顯示器絕對是一個(gè)糟糕的想法。
我不敢相信蘋果真的認(rèn)為一個(gè)40 PPD的頭顯可以成為一個(gè)優(yōu)秀的虛擬顯示器。即便未來的VR頭顯具有80 PPD和超過100度的視場，將AVP線性提高一倍或4倍，這個(gè)想法依然存在問題。
附錄1：我在80年代使用位圖字體和多顯示器的歷史
所有關(guān)于字體和3D渲染的討論令我想起了早年的日子，當(dāng)時(shí)第二代TMS34020幾乎納入至彩色的Macintosh。我同時(shí)見過在NeXT時(shí)的史蒂夫·喬布斯，并在喬布斯收購皮克斯之前向他提起了皮克斯，以及Adobe的創(chuàng)始人約翰·沃諾克（John Warnock），后者同樣有興趣在同一時(shí)間將Postscript移植到34010。
在20世紀(jì)80年代，我是德州儀器的一系列項(xiàng)目的技術(shù)領(lǐng)導(dǎo)者，而它們帶來了第一個(gè)完全可編程的圖形處理器TMS34010和Multi-ported Video DRAM。
在20世紀(jì)80年代早期，施樂帕洛阿爾托研究中心的工作影響了我對TMS34010的開發(fā)，包括沃諾克1980年的論文，以及阿爾托研究中心在《BYTE》雜志發(fā)表的一系列文章，特別是1981年8月版討論了BitBlt和“鼠標(biāo)”的使用。
在定義34010時(shí)，我不得不向德州儀器的經(jīng)理解釋，出于人體工學(xué)的原因，鼠標(biāo)將成為下一個(gè)重要的輸入設(shè)備而不是光筆，因?yàn)楣夤P需要用戶保持手臂抬起。大多數(shù)AR頭顯的用戶界面都需要用戶抬手指向、選擇和輸入，所以大家都沒有吸取過去的教訓(xùn)。
在20世紀(jì)80年代末，有一個(gè)我當(dāng)時(shí)從未聽說過的，名為”彭博“的公司，他們的系統(tǒng)工程師來找我們，他想每個(gè)PC顯卡支持2到4個(gè)顯示器。在一個(gè)1023×786顯卡價(jià)格超過1200美元（相當(dāng)于2023年的3000美元）的時(shí)代，這次會(huì)議引人注目。當(dāng)時(shí)的彭博工程師解釋說，華爾街的交易員可以支付溢價(jià)，以便在他們一次獲得盡可能多的信息，而單筆交易的微小優(yōu)勢都足以支付系統(tǒng)的價(jià)格。這是我第一次遇到想為每臺電腦安裝多個(gè)高分辨率顯示器的人。
我曾經(jīng)的生活是從白紙?jiān)O(shè)計(jì)尖端產(chǎn)品。相比之下，我現(xiàn)在是通過博客分析別人的設(shè)計(jì)。我在像素和字體領(lǐng)域打滾的時(shí)間已經(jīng)超過40年了。
1982
上圖是我早期的演示之一，當(dāng)時(shí)稱為“智能圖形控制器”（出于內(nèi)部政治原因，我們不能稱之為“處理器”），而它后來成為TMS34010圖形系統(tǒng)處理器。這張幻燈片制作于1982年2月。蘋果Lisa直到1983年才問世，Mac則是1984年。
1986年與英特爾爭奪早期圖形處理器霸主地位
我們在1986年發(fā)布了TMS34010，我們最初的主要競爭對手是英特爾82786。但英特爾芯片是“硬件”，缺乏34010的可編程性，最糟糕的是，當(dāng)時(shí)英特爾芯片存在許多漏洞。
1986年，我們在《IEEE CG&A》雜志寫了兩篇關(guān)于34010的文章。你可能會(huì)注意到第一張圖與1981年《Byte》雜志文章中的圖片的相似性。在這篇文章中，我們討論了將“BitBlt”擴(kuò)展為“PixBlt”顏色。
1980年左右，我們開始出版第三方指南，介紹所有為340系列產(chǎn)品開發(fā)硬件和軟件的公司，1990年6月的第四版包含了200多種硬件和軟件產(chǎn)品。
下圖來自TMS340 TIGA圖形庫，包括字體庫。在20世紀(jì)80年代早期，每個(gè)人都必須開發(fā)自己的字體庫。沒有足夠的能力在運(yùn)行中渲染帶有“hint”的字體。我們同樣可以很好地使用具有少量或沒有抗鋸齒的位圖字體。
遺憾的是，我們有點(diǎn)超前于時(shí)代，到20世紀(jì)80年代末，德州儀器在制造處理器的半導(dǎo)體技術(shù)方面遠(yuǎn)遠(yuǎn)落后于臺積電和許多其他公司。我們的競爭對手，如ATI （英偉達(dá)直到1993年才成立），他們可以從當(dāng)時(shí)新的第三方晶圓廠那里以更低成本獲得更好的半導(dǎo)體處理。
附錄2：圖片說明
這兩篇文章中的所有MQP照片都是透過左眼光學(xué)系統(tǒng)拍攝的，使用的要么是佳能R5 （45mp）的RF16mmf2.8或28mmf2.8鏡頭，要么是分辨率較低的奧林巴斯E-M5D-3 （20mp）的9-18mm變焦鏡頭。這兩款相機(jī)都有一個(gè)“像素偏移”功能，可以移動(dòng)鏡頭，R5為405萬像素（24,576 x 16,384像素），M5D-3為80萬像素（10,368 x 7,776像素），所有的照片都使用了這個(gè)功能，因?yàn)樗峁┝烁玫姆直媛省?/p>
帶有彩色子像素的計(jì)算機(jī)顯示器的高分辨率圖像，以及任何縮放或壓縮都會(huì)導(dǎo)致由于相機(jī)顏色傳感器和顯示設(shè)備之間的“拍頻”而導(dǎo)致顏色和強(qiáng)度失真。在這種情況下，MQP顯示器和相機(jī)的像素和彩色子像素之間存在許多不同的拍頻。另外，MQP的光學(xué)問題（與相機(jī)鏡頭相比較差）在很大程度上改變了分辨率。我發(fā)現(xiàn)，對于整個(gè)FOV圖像，分辨率較低的奧林巴斯相機(jī)幾乎沒有那么嚴(yán)重的抖動(dòng)問題（只有一點(diǎn)亮度問題，幾乎沒有顏色問題）。相比之下，使用16mm鏡頭的R5則不可避免。
帶有28mm f2.8鏡頭和像素移位模式的R5可以捕捉MQP的單個(gè)紅、綠、藍(lán)子像素。最右邊的兩個(gè)“7”在水平和對角線上的描邊寬度略大于1像素。這兩個(gè)7是由不同的子像素組成，而這是由于它們在3D空間中的排列略有不同。MQP的顯示屏可旋轉(zhuǎn)約20度。因此，子像素在20度對角線上。在這個(gè)分辨率下，當(dāng)單個(gè)紅、綠、藍(lán)子像素可見時(shí)，需要將整個(gè)圖像的曝光降低約8倍。否則，一些色點(diǎn)（尤其是綠色）會(huì)糊掉，改變色彩平衡。
MQP顯示設(shè)備中的每個(gè)色點(diǎn)約占像素面積的1/8，其他兩種顏色和黑色填充像素面積的其余部分。相機(jī)的曝光必須設(shè)置低3檔（亮度為8倍，因?yàn)榱炼仁?的倍數(shù)），以避免糊掉子像素。
附錄3：“point”與“pixel”——簡論
令顯示器看起來鎖定在3D空間中，這打破了PC處理渲染文本和大多數(shù)其他對象的所有方式。自從PC位圖圖形開始出現(xiàn)以來，為了減少處理并使圖像在價(jià)格合理的計(jì)算機(jī)顯示器看起來更好，行業(yè)已經(jīng)做出了實(shí)際的妥協(xié)（和快捷方式）。一個(gè)經(jīng)典的妥協(xié)是字體“point”，定義為1/72英寸（自1517年以來）。
所以從理論上講，在呈現(xiàn)文本時(shí)，計(jì)算機(jī)應(yīng)該考慮顯示器像素的物理大小。20世紀(jì)80年代中期，早期的位圖圖形顯示器大約是60到85 PPI，所以PC開發(fā)商（除了Adobe的Postscript打印機(jī)）沒有處理能力來處理它，需要繼續(xù)制作“point”和“pixel”混合的產(chǎn)品。顯示字體“縮放”有助于糾正這個(gè)早期的錯(cuò)誤。
幾十年前，微軟Windows決定將96DPI作為默認(rèn)的“100%”字體縮放。相反，蘋果堅(jiān)持使用72 PPI作為字體的基礎(chǔ)，并在低分辨率顯示器的字體可讀性方面做出了妥協(xié)。堅(jiān)持72 PPI可以解釋為什么現(xiàn)代蘋果Mac 27英寸顯示器需要5K才能達(dá)到218 PPI（3×72=216的四舍五入范圍內(nèi)）。相比之下，更常見、更實(shí)惠的27英寸4K顯示器只有163 PPI，而不是72的整數(shù)倍，而且Mac電腦在使用第三方顯示器時(shí)存在縮放問題，包括十分常見的27英寸4K顯示器。
微軟和Mac電腦試圖通過改變顏色子像素的強(qiáng)度來改善文本。下面是一個(gè)用“ClearType”處理一系列不同大小字體的例子。特別注意下面數(shù)字1、2和7底部的水平筆畫，以及筆畫如何從1像素寬跳到14pt，然后是18pt，筆畫跳到2像素寬，稍微平滑，然后在20pt變成2像素寬，垂直方向沒有平滑。
蘋果擁有類似的功能：LCD字體平滑。Mac筆記本和顯示器的“視網(wǎng)膜分辨率”顯示器有出現(xiàn)低ppd文本渲染問題?！耙暰W(wǎng)膜分辨率”在正常情況下可以轉(zhuǎn)換為80 ppd以上，對于手持設(shè)備（如iPhone）來說大約是12英寸（0.3米），對于電腦來說大約是0.5到0.8米。
蘋果今天銷售的“視網(wǎng)膜顯示器”具有218的高PPI，這使得文本網(wǎng)格匹配不再是一個(gè)問題。但從第三方設(shè)計(jì)師和開發(fā)者的圖表來看，Mac系統(tǒng)在使用中間分辨率顯示器時(shí)存在分辨率和性能問題。
蘋果Vision Pro的分辨率不到40 ppd，在正常觀看距離下遠(yuǎn)低于上述任何一款顯示器，更不用說需要在用戶移動(dòng)時(shí)令虛擬顯示器看起來靜止的所有問題。
---
原文鏈接：https://news.nweon.com/111273
聯(lián)系客服
