Google的Objectron怎样使用AI跟踪2D视频中的3D对象

伴随着2020年TensorFlow开发者峰会的拉开序幕，Google今天发布了一条名为Objectron的pipline，该pipline可在2D图像中发现物体并通过AI模型估算其姿势和大小。该公司表示，这对机器人技术，自动驾驶汽车，图像检索和增强现实-例如，它可以帮助工厂车间的机器人实时避免障碍。

跟踪3D对象是一个棘手的前景，特别是在处理有限的计算资源（例如智能手机片上系统）时，由于缺乏数据和多样性，当可用的唯一图像（通常是视频）为2D时计算对象的外观和形状会变得更加困难。

然后，由Objectron支持的Google团队开发了一个工具集，该工具集允许注释者使用分屏视图显示对象的3D边界框（即矩形边框），以显示2D视频帧。3D边界框在点云的上方叠加在其上方，注释器在3D视图中绘制了3D边界框，并通过查看2D视频帧中的投影来验证其位置，对于静态对象，他们只需要在单个帧中注释目标对象即可。使用AR会话数据中的地面真实摄像机姿势信息，将对象的位置定位到所有帧。

为了补充现实世界的数据以提高AI模型预测的准确性，该团队开发了一个引擎，将虚拟对象放置到包含AR会话数据的场景中，从而可以使用相机姿态，检测平面并进行估计。照明以生成与场景匹配的物理上可能的位置，从而生成高质量的合成数据，其渲染对象尊重场景的几何形状并无缝适合真实背景。在验证测试中，合成数据的准确性提高了约10％ 。

更好的是，该团队表示，当前版本的Objectron型号足够轻巧，可以在旗舰移动设备上实时运行.LG V60 ThinQ，三星Galaxy S20 +和Sony Xperia 11等手机均配备了Adreno 650移动图形芯片,‍每秒能够处理约26帧。

‍‍‍

‍Objectron在MediaPipe中可用，MediaPipe是用于构建由快速推理和媒体处理（例如视频解码）组成的跨平台AI管道的框架。可提供经过训练可识别鞋子和椅子的模型以及端到端演示应用程序。
该团队表示，未来计划与研究和开发社区共享其他解决方案，以刺激新的用例，应用程序和研究工作，此外，它还打算将Objectron模型扩展到更多类别的对象并进一步改进其对象设备上的性能。