苹果专利可改善在MR环境查看手机、平板等电WM真人子设备追踪电子设备显示器视频流

2023-04-14 21:29:46

　　）对于可以根据真实对象来投影虚拟对象的XR系统而言，追踪固定的真实对象比追踪正在变化的真实对象简单，例如平板电脑追踪固定的相框和追踪可以呈现电子内容的智能手机。换句话说，平板电脑可以轻松追踪相框并叠加相关数字内容，但与之相比，平板电脑可以难以为智能手机叠加相关数字内容。

　　针对这个问题，XR系统可以追踪电子设备用于呈现视频流的电子显示器。在名为“Display tracking systems and methods”的专利申请中，苹果就提出了相关的系统和方法。

　　概括来说，除了电子设备的物理边界之外，XR系统同时可以追踪显示器的图像数据的图像帧。其中，图像帧包括电子设备的图像或视频流中的指定追踪数据、预期静态图像帧或预期定义的图像特征。可以基于环境亮度水平动态地调整指定的追踪数据的图像特性，并且因而动态地调整图案的图像特性。

　　指定的追踪数据、静态图像帧、定义的图像特征可以作为在电子显示器创建或识别可追踪特征。可追踪特征可以增加追踪电子显示器精度，同时减少相关联的可感知误差。

　　在一个实施例中，可以将信号从第一被追踪设备发送到第二被追踪设备（例如XR系统），以在指定的追踪数据或定义的图像特征即将显示在被追踪设备的电子显示器时提供警告。

　　响应于所述信号，追踪设备可以通电或增加提供给其摄像头子系统和/或处理子系统的功率，以便在呈现指定的追踪数据或定义的图像特征时准备捕获被追踪设备的电子显示器的图像。

　　在捕获图像数据之后，追踪设备可以减少对摄像头子系统和/或处理子系统的供电或断电，从而减少追踪设备的功耗。

　　图6示出了追踪设备62（例如平板电脑）和被追踪设备60（例如智能手机）。其中，平板电脑追踪智能手机和对象64。对象64可以在真实的物理世界内具有固定或静止的位置，例如，位置、方位、高度。

　　追踪由围绕智能手机和呈现在平板电脑的显示器12A上的对象64的渲染图像的虚线表示。平板电脑追踪对象64可能比追踪智能手机更容易，因为对象64是静止。

　　当追踪时，平板电脑可以使用对目标位置的锁定作为参考位置来叠加生成3D或2D图像。例如，当追踪对象64时，平板电脑将生成的星形图像70叠加在对象64和周围环境66的捕获图像。

　　平板电脑可以通过一组突出特征（例如边缘、角度、颜色）来追踪对象64。通过使用摄像头观察周围环境66，平板电脑可以识别这样的特征并确定对象64在周围环境66中的位置，例如相对于平板电脑本身或另一参考点或对象。当连续执行该追踪操作时，数字内容可以平滑地“粘附”在被对象64。

　　智能手机可以呈现可变的图像数据，并且具有不那么突出或更少的静态特征。因此，与追踪具有静态和显著特征的对象64相比，智能手机可能更难追踪。

　　在图7中，平板电脑可以观察将经由智能手机呈现的参考图像。参考图像可以是平板电脑已知的，并且因此可以用作静态参考以确定智能手机的位置。

　　为了详细说明，图7是智能手机随时间通过显示器12B呈现图像帧的示意图。平板电脑可以监视智能手机，以观察指定的追踪数据82出现在周围环境66的捕获图像数据中。指定的追踪数据82可以是水印、图案等。

　　在一个实施例中，指定的追踪数据82是由平板电脑已知的，并由智能手机发射、传送和呈现的任何数据，以便将平板电脑召唤到其在三维空间内的位置和/或屏幕位置。

　　平板电脑可以使用捕获图像数据中指定的追踪数据82来识别显示器12B位于捕获图像数据内的位置，从而识别与智能手机相对应的图像数据在捕获图像数据集中的位置。

　　一旦平板电脑在数据集中定位智能手机，平板电脑就可以在三维空间（例如周围环境66）中定位智能手机60，并向智能手机叠加相关的数字内容。

　　WM真人

　　智能手机和平板电脑中包括的附加同步电路可以帮助执行改进的追踪操作。图8是智能手机和平板电脑在数个图像帧的操作和框图表示。

　　智能手机包括设备追踪主电路94，并且平板电脑包括设备追踪辅助电路96。设备追踪主电路94和设备追踪辅助电路96一起作为同步电路操作，以将显示器12B的追踪数据的呈现与平板电脑的图像捕获操作对准。

　　智能手机同时包括无线A，并且平板电脑包括无线。每个无线可以包括控制系统。无线可以与其他无线等接口，以在智能手机和平板电脑之间进行数据通信。无线可以使用无线或有线连接和信号进行通信。

　　在第一时间和第一帧（例如“帧t”），智能手机根据先前接收的图像数据在显示器12B呈现图像数据。在呈现第二帧（例如，“帧t+1”）并且因此在第二时间时，设备追踪主电路94确定下一帧将包括指定的追踪数据82。

　　响应于确定，设备追踪主电路94经由无线可以是任何合适的信号，包括脉冲、标志、在寄存器中设置的位等。

　　平板电脑将通知100信号解释为指示下一个或进入的图像帧包括指定的追踪数据82，并继续通知设备追踪次级电路96。设备追踪次级电路96可以生成控制信号以指示摄像头子系统102和处理子系统104的一个或多个摄像头进行图像捕获并处理图像捕获。

　　在一个实施例中，摄像头子系统102的一个或多个摄像头可以在第二时间时或之前处于低功率或禁用状态。附加地或替代地，设备追踪次级电路96可以生成功率控制信号，以指示电源26的功率管理电路重新获得或增加提供给摄像头子系统102的一个或多个摄像头以及处理子系统104的功率。

　　在呈现第三帧（例如“帧t+2”）的第三时间，平板电脑操作摄像头子系统102以捕获显示器12B、智能手机和/或周围环境66的图像数据。因此，摄像头子系统102可以在智能手机显示指定的追踪数据82时捕获被追踪设备的图像。

　　捕获的图像数据可以从摄像头子系统102传输到处理子系统104作为用于处理的数据集，以识别数据集中的指定追踪数据82。当处理子系统104处理所捕获的图像数据时，智能手机可以继续准备用下一个图像帧更新显示器12B。

　　在这种情况下，下一个图像帧是没有指定的追踪数据82的重复图像帧。处理子系统104可以在第四图像帧之后确定显示器12B在周围环境中的位置106。处理子系统104可以使用所述位置来经由显示器12A相对于智能手机调整虚拟内容。

　　在一个实施例中，处理子系统104可以从要呈现在平板电脑的显示器12A的图像帧中过滤出指定的追踪数据82。过滤出指定的追踪数据82可以减少或消除用户感知到指定追踪数据82的可能性。

　　在一个实施例中，如果不通过平板电脑的显示器12A查看显示器12B，则显示器12B的全组信息不可见。被追踪的显示器12B保持在模糊状态，直到平板电脑停止追踪智能手机60。智能手机60和/或显示器12B可以转换到低功率、非活动、睡眠和/或其他状态。

　　图9是智能手机和平板电脑的框图。除了图8中描述的模块之外WM真人，智能手机同时可以包括图形处理管道118和显示处理管道120。设备追踪主电路94可以包括追踪数据生成器122、混合器124和脉冲生成器126。脉冲发生器126可以向延迟块130和无线中描述的模块之外，平板电脑同时可以包括脉冲解码器132、摄像头快门控制器134和中断生成器136，作为设备追踪次级电路96的一部分。

　　智能手机可以使用图形处理管道118生成用于经由显示器12B呈现的图像数据。所生成的图像数据可以执行调整以由显示处理管道120呈现。显示处理管道120可以包括一个或多个顺序耦合的电路和/或顺序执行的操作，以在输出到显示器12B之前顺序地调整图像数据的一个或更多部分。

　　例如，可以使用第一操作来调整图像数据的第一部分。之后可以使用第一操作来调整第二部分。在使用第一操作调整第二部分的同时，可以使用第二操作调整第一部分。

　　所得到的经处理的图像数据可以输出到显示器12B用于呈现。当将图像数据输出到显示器12B时，可以通过设备追踪主电路94发送图像数据。混合器124可以将图像数据与其他图像数据混合。

　　指定的追踪数据82可以是水印、图案等。脉冲发生器126可以追踪何时在显示器12B呈现指定的追踪数据82。当呈现时间即将到来，脉冲生成器126可以生成通知100信号，并经由延迟块130发送到混合器124并发送到无线信号的传输引入延迟。延迟通知100信号可以帮助将指定的追踪数据82的呈现与平板电脑的图像捕获操作对准WM真人。响应于从延迟块130接收到延迟通知100信号，混合器124可以将生成的追踪数据和图像帧数据组合，以准备呈现具有指定追踪数据82的图像帧。

　　为了准备捕获显示器12B的图像，响应于在无线信号在无线之间传输之前被编码时，平板电脑可以在脉冲解码器132处解码通知100信号。在解码之后，平板电脑可以将通知100信号发送到摄像头快门控制器134和中断生成器136。

　　响应于接收到通知100信号，摄像头快门控制器134可以返回或增加提供给摄像头子系统102的功率和/或指示摄像头子系统捕捉包括显示器12B的图像。智能手机捕获的图像可以跨越一个或多个图像帧。

　　另外，响应于接收到通知100信号，中断生成器136可以生成中断命令，以命令指示处理子系统104暂停或停止处理子系统的未决或正在进行的操作，并准备从摄像头子系统102接收和处理捕获的图像数据。

　　图10进一步描述了图8和图9的操作。图10是用于在与平板电脑相对应的追踪操作期间操作智能手机的过程148流程图。

　　在框150，智能手机可以确定在下一个图像帧中呈现追踪数据。下一个图像帧可以包括来自显示处理管线的图像数据，而图像数据提供给混合器124。追踪数据生成器122可以生成追踪数据。

　　响应于确定在下一图像帧中呈现追踪数据，智能手机可以生成通知100信号并将其发送到平板电脑。在等待持续时间之后，智能手机可以在显示器12B呈现追踪数据以及要呈现的图像帧。作为提醒，当经由显示器12B呈现时，追踪数据与图像帧的图像数据组合以形成指定的追踪数据82。通过呈现追踪数据，智能手机可以经由显示器12B将追踪数据提供给平板电脑。在指定的追踪数据82被呈现在显示器12B上之后，在框156，智能手机可以继续进行后续的图像呈现操作。

　　智能手机可以呈现一个或多个图像帧持续时间的指定追踪数据82。所以，智能手机可以继续呈现相同的图像数据，根据需要进行刷新。