您是否看到过3D对象数据集，是否可以移动的3D对象数据集？每个动态视频均以目标为中心进行拍摄。它不仅带有一个整体的边框，而且每个视频还带有照相机姿势和稀疏点云。这是Google的开源3D对象数据集Objectron，其中包含15,000个短视频样本和从五大洲和十个国家收集的超过400万个带注释的图像。 Google认为，在3D目标理解领域，缺少像2D中的ImageNet这样的大数据集，而Objectron数据集可以在一定程度上解决这一问题。数据集启动后，有1.6k的网民喜欢它。一些网民嘲笑Google在考虑诸如“ Google”之类的数据集时才将其发送出去。团队的一些前成员还表示，他们很高兴看到这样的数据集和模型，这为AR的发展带来了可能性。此外，Google还宣布了在Objectron数据集上训练的3D目标检测模型，该模型可用于4种鞋，椅子，杯子和照相机。让我们看一下该数据集包含的内容以及Google〜提供的3D目标检测解决方案（请参阅本文末尾的项目地址）9种类型的对象，它们对AR非常友好。当前，此数据集中包含的3D对象样本包括自行车，书籍和瓶子。 ，相机，谷物盒，椅子，杯子，笔记本电脑和鞋子。当然，该数据集绝不仅仅是以对象为中心拍摄的一些视频和图像。它具有以下特征：用于AR数据（相机姿态，稀疏点云，二维表面）的注释标签（3D目标立体声边界框）数据数据预处理（图像格式为tf.example，视频格式为SequenceExample）支持运行通过脚本进行3DIoU索引评估支持通过脚本（包括“ HelloWorld”，“ HelloWorld”，样本支持ApacheBeam用于处理Google Cloud（Google Cloud）基础结构上数据集的所有可用样本的索引，包括训练/测试部分，该索引可方便地下载图像部分的图像样式。基本上是这样，并且也有非常详细的标记：视频中不仅有从各个角度（从左到右，从下到上）拍摄的以目标为中心的剪辑：还有不同数量的视频类型（一个目标或两个以上目标）：Google希望发布该数据集，使研究社区可以进一步突破3D目标理解领域和相关研究应用程序的领域，例如无监督学习。如何使用？ Google第一次“以示例方式”获得数据集时，我不知道它是否易于使用，并且始终感觉有点无法启动？不用担心，Google已为我们试用了该数据集的训练效果。看起来不错：此外，Google还提供了经过训练的3D目标检测模型。 （请参见本文末尾进行传输）该算法主要包括两部分。第一部分是Tensorflow的2D目标检测模型，用于“查找对象的位置”。第二部分是图像裁剪，以估计3D对象的边界框（在计算一帧的目标2D裁剪时，因此无需运行每一帧），总体结构如下：在模型评估中，Google使用Sutherland-Hodgman多边形裁剪算法来计算两个实体边界框的交点，并计算两个边界框。最后，为3D目标检测模型的IoU计算出一个立方体的相交体积。简而言之，两个立方体的重叠体积越大，3D目标检测模型的效果越好。该模型是Google MediaPipe的一部分，该MediaPipe是一个开放源代码的跨平台框架，用于构建用于处理不同形式的感知数据的管道。其MediaPipeObjectron实时3D目标检测模型可用于移动设备（手机）的实时目标检测。看到，（他们玩得很开心）实时对象检测的效果还不错：除了Google推出的数据集外，其他3D数据集，在以前的可视3D目标中也有很多类型的不同数据集字段，并且每个数据集都有自己的特征。例如，斯坦福大学提出的ScanNetV2是一个室内场景数据集，而ScanNet是一个RGB-D视频数据集，共有21种目标类别和1513种收集的场景数据，可用于语义分割和目标检测任务。目前在自动驾驶领域非常流行的KITTI数据集也是3D数据集。它是目前自动驾驶场景中最大的计算机视觉算法评估数据集，包括在城市，农村，