早在iOS 15系统更新中,苹果就推出了SharePlay功能,该功能主要针对多人协作和社交,允许用户在FaceTime会话中一起看剧、听歌、共享屏幕。Vision Pro头显也支持该功能,允许用户共享AR图像和空间上下文信息,实现远程可视化协作。与iOS端不同的是,XR共享具有空间感,本质上是为了模拟人们在线下面对面交流的体验。

在使用Google Doc、石墨文档等常用工具与其他人共享文字时,只能看到对方的光标移动,这种视觉交互比较扁平,缺少空间感。而在空间平台中共享文档时,你可以看到其他人的翻页手势,带来更好的临场感。

XR空间共享的核心

在iOS平台SharePlay与FaceTime的关系密不可分,其实主要就是建立在在线通话场景的多媒体信息共享。在空间计算场景,SharePlay的一个核心元素是Spatial Personas系统,也就是基于面部扫描的3D头像。用户通过Personas头像参与对话和互动,不再像视频通话那样将图像限制在窗口中,而是可以占据虚拟场景中的一个位置,具有临场感。

除了Personas之外,SharePlay还支持上下文共享,意味着参与SharePlay会话的每个人,都能共享互相之间的相对位置。比如在三个人会话中,A面向B,那么B会看到A面向自己。

简单来讲,上下文共享的目的主要是为了达到空间一致性和视觉一致性,也就是说参与会话的用户做出的动作、看到的内容上都是同步的。而空间音频也带来声音上的一致性:当多名用户处于相同的环境时,可以共享相同的音频上下文,意味着每个人都可以从同一方向听到相同的声音。

如何共享空间

在visionOS平台的SharePlay模式中,最多支持5人同时参与。会话窗口的相对位置支持共享,原理是识别参与者与共享应用之间的相对排列方式,并确保这种排列在不同的空间中具有一致性。

目前,visionOS有三种空间位置模板,主要用于确定应用与参与者之间的最佳位置。这些模板分别是:并排、半环绕、环绕式队形,其中:

  • 并排模板是默认设置,通常适用基于常规窗口的多人应用;
  • 半环绕式则适合听歌等在后台运行的环境应用,内容并不是体验的核心;
  • 环绕式则适合设定在虚拟场景中的多人3D应用,用户之间的距离取决于应用场景大小。

在同时运行多个窗口时,SharePlay应用可识别与共享场景相关的内容,也就是用户们在同时使用的一个窗口,并根据这个窗口的内容来匹配空间位置模板。同时,系统还会标记共享中的窗口,避免用户不小心改动了窗口内容。

界面共享形式

在visionOS系统中,SharePlay有两种模式,一种是直接共享2D窗口/桌面,但不支持交互,另外一种则是共享支持交互的应用程序(2D或3D沉浸式)。

比如,iOS端的SharePlay应用可移植到Vision Pro平台中,将窗口与3D空间内容结合。在iOS端,SharePlay为FaceTime用户提供十几款可共享的应用,用途包括观星模拟、派对游戏、笔记、论坛,以及音乐、直播、短视频、流媒体等应用。

在Vision Pro平台中,SharePlay也可以引入多种应用,比如3D立体的Disney+、Apple TV体验,或是具有空间感的协作应用,比起在移动设备上共享笔记文档,空间协作可为交互带来更多可能。

在办公场景中,视觉一致性意味着多位用户可以共享同一个白板,看到同样的内容。此外,当一位用户指向特定位置或物体时,其他人可以像亲临现场一般看到这个动作。

此外,参与会话的所有人也可以共享一个沉浸式群组空间,比如在美丽的星球上一起探索。还可共享电视、扬声器、白板或桌子。或是从2D窗口中调出3D虚拟场景(Full Space),潜在的用途包括空间探索、游戏、影音媒体等等。

在个人和共享之间切换

通过共享上下文特性,SharePlay允许每个人能看到相同的应用内容、做同一件事。但实际上,每个人的应用都是在设备上独立运行的,每个人看到的UI可能会有不同。比如虽然大家共享同一个应用窗口,但不同的用户可使用不同的编辑模式,或是个性化的工具。

除了共享窗口外,每个用户还可以打开独立的个人窗口,用于做笔记等场景。

在FaceTime会话过程中,你还可以随时进入独立的个人沉浸空间(全景图、180°/360°视频),在其他人的视角中,你不再以Persona形象出现,而是一个联系人头像标识,代表你暂时离开共享空间,不过依然可以保持语音通话。

与多人沉浸式群组空间不同,个人沉浸空间的坐标中心是独立的用户,空间的内容围绕使用者周围展开。在多人会话中,用户只需要按下数字旋钮即可快速、暂时退出沉浸式体验。参考:Apple

GitHub 加速计划 / vi / vision
15.85 K
6.89 K
下载
pytorch/vision: 一个基于 PyTorch 的计算机视觉库,提供了各种计算机视觉算法和工具,适合用于实现计算机视觉应用程序。
最近提交(Master分支:2 个月前 )
518ee93d 3 天前
7d077f13 4 天前
Logo

旨在为数千万中国开发者提供一个无缝且高效的云端环境,以支持学习、使用和贡献开源项目。

更多推荐