随着增强现实技术的日益普及，深度跟踪摄像头将出现在旗舰手机上，现在是时候改进计算机跟踪他们看到的人的活动的方式了，即使这意味着脱掉他们的衣服。有一个新的计算机视觉系统可以做到这一点。它听起来可能令人毛骨悚然，但肯定有其用途。基本问题是，如果您想捕捉人的动态，例如在电影或增强现实游戏中，则系统会因为他/她穿着衣服而感到有些模糊。您为什么认为动作捕捉演员会穿紧身衣？因为如果他们穿着诸如JNCO牛仔裤之类的裤子，那么系统将很难准确确定他们的腿在哪里。同样，穿裙子，夹克或背着背包也会引起这种困惑-基本上，除了什么都不会，无论您穿什么，都会干扰计算机对您的准确判断。身体位置。上述多机构项目将在盐湖城的计算机视觉和图形识别（CVPR）会议上进行演示，该会议将深入的数据和有关身体姿势形成方式及其功能的智能假设相结合。结果是一种X射线视觉，可以揭示一个人在他的衣服下的身体的形状和位置。即使在诸如跳舞之类的快速运动中，该系统也可以实时运行。该项目文件基于两种现有方法-DynamicFusion（动态融合）和BodyFusion（身体融合）。第一种方法使用单摄像机深度数据来确定身体的姿势，但是它不适合处理快速移动或遮挡的情况。第二种方法使用骨骼来确定姿势，但在快速移动过程中也会失去方向。研究人员将这两种方法结合到了“ DoubleFusion”中。 （双重融合），本质上是根据深度数据创建一个似是而非的骨架，然后将其“包裹”起来。皮肤与核心之间的适当距离内的骨骼。如上图所示，将来自相机的深度数据与人的一些基本参考图像组合在一起以生成骨骼，并跟踪人体的关节和末端。最右边是通过DynamicFusion（b），BodyFusion（c）和DoubleFusion（d）三种方法产生的效果图。这些结果比单独使用任何一种方法产生的结果要好得多。似乎可以从各种姿势和衣服中获得良好的姿势：无论是连帽衫，耳机还是宽松的衣服，它们都无法阻挡DoubleFusion的“全视之眼”。看透一切。但是，这种方法有一个缺点：如果您穿很多衣服，它往往会高估您的身材。没有简单的方法来判断一个人是否很宽，或者他们是否只是穿着一件厚毛衣。当您与一个独立的对象（例如桌子或游戏控制器）进行交互时，它不能很好地工作-它可能会尝试将该对象解释为身体的一个奇怪的延伸。研究团队已将对这些异常情况的处理纳入了未来研究的范围。该论文的第一作者是中国清华大学的陶宇，但北京航空航天大学，南加州大学，谷歌和马克斯·普朗克研究所的研究人员也参加了会议。 “我们相信该方法的鲁棒性和准确性将使许多应用成为可能，尤其是在AR / VR，游戏，娱乐甚至虚拟试戴方面，因为我们还重建了基础的身体形状。该论文的作者在摘要中写道：“通过DoubleFusion双融合技术，用户将能够首次轻松地将自己数字化。 “没有必要否认该技术具有许多有趣的应用。但是无需否认这项技术基本上是X射线荧光镜。