4.參考文檔

4.1.4 用戶界面（UI）

Unity UI在世界空間中工作，但屏幕空間 UI 和高級視覺功能（如遮罩、陰影等）當前無法工作。下表總結了其他 UI 功能的支持狀態：

4.1.5 最后的想法

Unity 有更多組件，但本節涵蓋了普通 XR 應用程序的主要部分。一般來說，您現有的 Unity 項目可能需要移植到 PolySpatial XR。

您將需要通過編寫自己的 PolySpatial XR 兼容系統或找到這些限制的解決方法來實驗、研究和適應 PolySpatial XR 要求和約束，以支持您現有的功能。

4.2 PolySpatial資產支持

1.網格

RealityKit 提供了一組有限的預定義頂點格式。網格可以提供位置、法線、切線、顏色、混合權重和混合索引。Unity 將為 RealityKit 提供最多 8 個紋理坐標，但請注意，在其 MaterialX 實現中只有前兩個 UV 通道可用，從而限制了額外幾何數據的實用性。

由于Unity和RealityKit使用不同的坐標系，因此在系統之間傳遞時，一些頂點屬性會被修改。針對位置、法線和切線執行慣用手交換。所有 UV 通道的 UV 都會翻轉。

2.材質

有關 VisionOS 上材質和著色器支持的詳細信息，請參閱PolySpatial 材質支持。

Unity ShaderGraphs

請參閱Shader Graph 支持，了解有關如何將通過 Unity ShaderGraph 定義的自定義著色器轉換為 MaterialX 以與 RealityKit 互操作的詳細信息。

3.紋理

Unity 在 VisionOS 上提供對 2D 紋理的支持，并利用本機紋理壓縮選項。

VisionOS 的 RealityKit 不支持 3D 紋理或立方體貼圖，因此用戶必須根據 2D 紋理重新實現這些紋理資源。

4.渲染紋理

Unity 會將渲染目標實時復制到 RealityKit，但目前只能按速度進行有限數量的提交。引入額外的渲染目標可能會與 Unity 自己的圖形緩沖區提交相沖突，從而影響整體性能。

另請注意，修改 RenderTextures 后必須手動將其標記為臟；目前，不會自動發生此類臟污，并且如果紋理未臟污，則不會將其復制到 RealityKit。

5.字體

VisionOS 支持光柵化字體和 SDF 字體，但我們強烈建議使用 SDF 字體，以確保所有觀看距離下的清晰度。

4.3 材質

每個管道的幾個重要標準著色器已映射到最接近的可用 RealityKit 模擬。目前的支持包括：

• 標準 URP 著色器：Lit、Simple Lit、Unlit（+TBD - 更多即將推出）
• 標準內置著色器：標準，（+待定 - 更多即將推出）

4.3.1 自定義著色器

可以通過 Unity ShaderGraph 為 VisionOS 創作著色器和材質。在幕后，這些著色器圖被轉換為 MaterialX。雖然 MaterialX 非常具有表現力，但某些 ShaderGraph 節點在 MaterialX 中沒有類似物。在 ShaderGraph 編輯器中，不支持的節點將通過符號來指示#，但另請參閱ShaderGraph 支持。支持點亮和未點亮根節點。

ShaderLab、Metal 和其他基于代碼的著色器不可用，因為 VisionOS 的 RealityKit 目前不公開低級著色語言。

4.3.2 無光照材質

4.3.2.1 通用渲染管線/無光照

對于 URP 未光照材質，PolySpatial 支持Base Map顏色和紋理屬性以及 和Opaque（Transparent使用混合模式Alpha）曲面類型。?Alpha Clipping可能已啟用；如果Threshold大于零，則不會執行混合（僅進行 alpha 測試）。

4.3.2.2 無光照/彩色

對于內置渲染器管道未點亮的顏色材質，Main Color支持該屬性。

4.3.2.3 無光照/紋理

對于內置渲染器管線未點亮的紋理材質，Base (RGB)支持該紋理。

4.3.2.4 無光照/透明

對于內置渲染器管道未點亮的透明材質，Base (RGBA)支持紋理。

4.3.3 光照材質

4.3.3.1 通用渲染管線/光照

對于 URP 光照材質，顏色和紋理受到尊重，選項和屬性Base Map也是如此。Render FaceSurface Inputs?TilingOffset

在Specular工作流程中并Specular Highlights啟用時，PolySpatial 支持Specular Map關聯顏色的紋理或（灰度）強度。在Metallic工作流程中，PolySpatial 支持Metallic Map紋理或強度并遵循Specular Highlights切換。

對于這兩個工作流程，Smoothness都會考慮強度，但Metallic Alpha不支持紋理通道（例如，來自 ）的平滑度。?Normal Map支持 [^1]，但不支持正常比例。同樣，Occlusion Map支持，但不支持遮擋強度。?可以指定Emission顏色或紋理；如果兩者都給定，則顏色會降低為灰度并充當乘數。

支持 和 （使用混合模式）曲面Opaque類型Transparent。Alpha在Transparent模式下，該Preserve Specular標志受到尊重。?Alpha Clipping可能已啟用；如果Threshold大于零，則不會執行混合（僅進行 alpha 測試）。

4.3.3.2 通用渲染管線/簡單光照

對于 URP 簡單光照材質，支持的選項與光照材質相同，只是沒有Metallic屬性且沒有Occlusion Map。

4.3.3.3 通用渲染管線/復雜光照

對于 URP 復雜光照材質，支持的選項與光照材質相同，只是添加了選項Clear Coat及其Mask屬性Smoothness。

4.3.3.4 標準材質

內置標準光照材質的支持方式與Metallic工作流程中 URP 光照材質的支持方式大致相同。紋理Albedo和顏色同樣受到尊重，Metallic貼圖或強度和Smoothness強度（但不包括平滑度Source）也是如此。?支持Normal Map[^1] 和（但不支持其相應的強度），顏色或紋理、和以及標志也是如此。支持所有渲染模式：、、和。OcclusionEmissionMain Maps?TilingOffsetSpecular HighlightsOpaqueTransparentFadeCutout

4.3.3.5 標準材質（鏡面設置）

內置光照鏡面材質的支持方式與Specular工作流程中 URP 光照材質的支持方式相同。紋理Albedo和顏色也受到類似的尊重，Specular地圖或（灰度）強度和Smoothness強度（但不是平滑度Source）也是如此。?支持Normal Map[^1] 和（但不支持其相應的強度），顏色或紋理、和以及標志也是如此。支持所有渲染模式：、、和。OcclusionEmissionMain Maps?TilingOffsetSpecular HighlightsOpaqueTransparentFadeCutout

[^1]：目前，非著色器圖形材質中使用的法線貼圖必須作為紋理Default類型（即，而不是類型Normal map）導入，并且sRGB (Color Texture)未選中該選項。

4.3.4 特殊用途材質

4.3.4.1 TextMeshPro/距離場

4.3.4.2 TextMeshPro/Mobile/距離場

TMP 距離場材質將轉換為僅遵循Face Color和Face Texture屬性的著色器圖形材質。

4.3.4.3 用戶界面/默認

UI 默認材質將轉換為尊重色調和紋理屬性的無光照材質。

4.3.4.4 通用渲染管線/粒子/無光照

URP 未光照粒子材質將轉換為尊重Base Map紋理和顏色的未光照材質以及Surface Type.

4.3.4.5 AR/基本遮擋

4.3.4.6 AR/遮擋

遮擋材質轉換為基本等效材質。

4.3.5 著色器圖形材質

著色器圖可以使用內置或 URP 目標以及 Unlit 或 Lit 材質。支持所有輸出塊。有關著色器圖支持的更多信息，請參閱著色器圖轉換說明。

4.4 ShaderGraph支持

您可以使用 Unity ShaderGraph 為visionOS 創建自定義材質。這些將在 Unity 中以其編譯形式進行預覽，但會轉換為 MaterialX 以在模擬器和設備上顯示。雖然 MaterialX 非常具有表現力，但某些 ShaderGraph 節點在 MaterialX 中沒有類似物。在 ShaderGraph 編輯器中，不支持的節點將通過#符號的存在來指示。

出于技術、安全和隱私原因，visionOS 不允許在使用 AR 直通時運行基于 Metal 的著色器或其他低級著色語言。

4.4.1 VisionOS 中的 Shader Graph 限制

下表顯示了VisionOS 的 PolySpatial 中Shader Graph 節點的當前支持狀態，包括支持的節點列表及其各種注意事項。

如果此處未出現節點，則表示當前不支持該節點。請注意，隨著我們繼續添加對更多節點的支持，此列表將會更新。

4.4.2 美術

4.4.3 通道

4.4.4 輸入

Custom Interpolators僅限于此特定/名稱類型：

• Color：矢量4
• UV0：矢量2
• UV1：矢量2
• UserAttribute：矢量4

4.4.5 數學

4.4.6 程序

4.4.7 Utility

4.4.8 UV

4.5 輸入

在 VisionOS 上有兩種捕獲用戶意圖的方法：3D 觸摸和骨骼手跟蹤。在獨占模式下，開發人員還可以訪問頭部跟蹤數據。

4.5.1 3D Touch 和 TouchSpace

在有界和無界體積中，當用戶使用輸入碰撞器查看對象并執行“捏”（拇指和食指一起觸摸以“點擊”或“拖動”）手勢時，就會提供3D觸摸輸入。PolySpatialTouchSpace輸入設備向開發人員提供該信息。如果用戶按住捏合手勢，則會啟動拖動，并向應用程序提供相對于原始起點的“移動”更新。如果對象在觸手可及的范圍內（無需特定注視），用戶還可以直接在對象上執行捏合手勢。

3D觸摸事件通過PolySpatialTouchSpace 輸入設備公開，該設備構建在封裝之上com.unity.inputsystem，也稱為新輸入系統。綁定到觸摸屏設備的現有操作應該適用于 2D 輸入。對于 3D 輸入，用戶可以將操作綁定到特定的PolySpatialTouchSpace設備以獲得 3D 位置向量。

任何可以接收 3D 觸摸事件的對象都需要將碰撞遮罩設置為 PolySpatial 輸入層的碰撞器。僅報告對這些事件的接觸。目前，平臺不會在點擊手勢開始時提供凝視光線。

4.5.2 骨骼手追蹤

骨骼手部跟蹤由XR Hands 包中的手部子系統提供。使用場景中的手部可視化器組件，用戶可以顯示玩家手部的蒙皮網格或每關節幾何體，以及基于手部物理交互的物理對象。用戶可以直接針對手子系統編寫 C# 腳本來推斷骨骼之間的距離和關節角度。Hand Visualizer組件的代碼可在XR Hands Package中找到，并且可以作為利用Hand Subsystem 的代碼的良好起點。

4.5.3 頭部追蹤

ARKit 通過VisionOS Package提供頭部跟蹤。這可以使用移動 AR 的創建菜單在場景中進行設置：創建 > XR > XR Origin (Mobile AR)。位姿數據來自devicePosition [HandheldARInputDevice]和deviceRotation [HandheldARInputDevice]的新輸入系統。

4.6 自定義 PolySpatial 組件

4.6.1 體積相機

PolySpatial 提供了一個名為 的新 Unity 組件，用于Volume Camera與visionOS 環境提供的模式和體積進行交互。體積相機與常規 Unity 相機類似，因為它們指示用戶應該看到哪些內容，但不同之處在于它們捕獲 3D 內容而不是 2D 圖像。

將 VolumeCamera 組件添加到場景中的對象，以指定向用戶呈現的內容以及內容的呈現方式。保存 VolumeCamera 的 GameObject 的變換（例如比例）會影響向用戶顯示的體積大小。VolumeCamera 的編輯器內預覽范圍可以幫助可視化應渲染的內容。

通常，然后通過相應的“體積渲染器”將該規范體積映射到主機體積渲染器自己的不同OBB，將該內容顯示在主機平臺上。效果是體積相機邊界內的 3D 內容被變換、旋轉、拉伸和/或擠壓以填充體積渲染器的邊界。

當Mode設置為 時Unbounded，一切都與典型的 Unity 相機類似，只是體積相機和體積渲染器各自定義了無界 3 空間而不是有界

VolumeCamera組件公開以下屬性：

4.6.2 PolySpatial視頻組件

為了支持 VisionOS 上的視頻內容，PolySpatial 目前包含一個自定義的PolySpatialVideoComponent.?我們預計最終會支持股票視visionOS提供關鍵視頻功能。要使用它，請將 設置Target Material Renderer為頻組件，但該組件在此期間為GameObject要MeshRenderer顯示視頻的資源，并設置Clip為指向要播放的視頻資源，例如.mp4

當前系統的一個限制是，必須手動將剪輯復制到../StreamingAssets/PolySpatialVideoClips/文件夾中才能在 VisionOS 上實現完整功能。如果該文件夾不存在，則創建該文件夾。確保剪輯不僅移入此文件夾，而且復制到其中，以便有它的兩個實例。

該PolySpatialVideoComponent組件公開以下屬性：

4.6.3 PolySpatial懸停效果

向平臺提供提示，以在用戶將鼠標懸停在此對象上時應用系統懸停效果。這通常用于向用戶提供該對象是交互式的視覺提示。這種效果可以通過凝視或用手戳來觸發。該效果應用于正在懸停的對象，而不是正在懸停的對象。

出于隱私原因，visionOS 不允許應用程序直接訪問用戶的視線。然而，在視覺上突出顯示用戶正在注視的對象通常是有幫助的，以便暗示如果用戶執行捏合手勢，哪個對象將接收輸入。為此，Unity PolySpatialPolySpatialHoverEffect為visionOS 提供了一個組件，可以將其添加到可能通過注視接收輸入的游戲對象中。該組件的存在指示主機平臺 (RealityKit) 在用戶的凝視光線與其相應的碰撞體相交時向GameObject'應用著色效果。MeshRenderer

必須存在所有三個組件才能實現效果： 指示PolySpatialHoverEffect應GameObject顯示懸停，Collider組件定義凝視光線投射的碰撞形狀，提供MeshRenderer將應用著色效果的網格和幾何體。

4.7 PolySpatial Tooling

4.7.1 日志

PolySpatial 日志記錄消息按類別和級別進行標記，以便于更有針對性的調試。從 Unity 編輯器的主菜單中，選擇“窗口”>“PolySpatial”>“日志記錄”以打開“PolySpatial 日志記錄”窗口。從這里，您可以切換啟用哪些類別，是否應生成堆棧跟蹤，以及對于啟用堆棧跟蹤的類別，哪些級別將生成跟蹤。

4.7.2 多空間統計

首先，通過啟用項目設置 > PolySpatial > 啟用統計來啟用 PolySpatial 統計跟蹤。然后可以在 Unity Editor 主菜單中的Window > PolySpatial > PolySpatial Statistics下找到該編輯器。在播放模式下，此編輯器顯示時間的直方圖跟蹤、跟蹤的對象以及已復制到 PolySpatial 主機的資源。

4.7.3 調試鏈接

為了便于在播放模式下進行調試，PolySpatial 運行時添加了DebugPolySpatialGameObjectLinks組件，以將每個模擬游戲對象連接到Unity SceneGraph 中其相應的支持游戲對象。

4.7.4 資產查找器

在播放模式下，AssetFinder 會跟蹤已復制到主機渲染器的所有資源。這對于追蹤資產鏈接非常有用。該編輯器可以在 Unity Editor 主菜單中的PolySpatial > Asset Finder下找到。

4.7.5 錄音與回放