今天是MLPerfInference基准测试结果的第二轮（0.7版）。与7月份宣布的最新培训结果一样，新的推论数字表明提交的公司数量有所增加，支持的平台和工作负载也有所增加。 MLPerf推断的数字分为四类-数据中心，边缘，移动和笔记本。提交的数量从43个增加到327个，提交的公司数量从仅9个增加到21个。提交的公司包括半导体公司，设备OEM和几个测试实验室。这轮提交中明显的遗漏包括Google和所有中国公司，包括先前的参与者阿里巴巴和腾讯。作为快速更新，MLPerf是一个行业协会，旨在开发机器学习（ML）/人工智能（AI）解决方案的标准。 MLPerf是一组基准测试的汇编，用于衡量ML / AL硬件，软件和服务的训练和推理性能。最新的Inferencev0.7结果只是第二次发布推断结果。第一次是大约一年前。 MLPerf组织一直在努力通过代表实际AI工作负载的新模型或增强模型来增强基准套件。此外，该组织正在努力提高测试频率，以每年至少两次的目标为目标，正在考虑允许在主要版本之间发布测试结果，并努力添加其他限定符，例如用于降低功耗的数据。评估AI平台的效率。测试结果可以由电子价值链中的任何公司提供，并且可以随机审核。每个细分类别都包括一个“封闭”类别。和“开放”分割。 “关闭”的状态为“关闭”。部分是指使用与参考模型相同的工作负荷模型进行的测试运行。所述“开放”状态为“打开”。本节允许更改模型，以便供应商可以展示相对于其他目标工作负载的性能。另外，存在一些细分市场，即当前在市场上“可用”，“预览”的产品。在接下来的六个月中投放市场的产品数量，以及“研究，开发或内部”仍在开发中或刚刚被视为实验室项目的产品。为了保持一致，我们的大多数分析都集中在封闭和可用的细分市场上。在某些情况下，产品没有所有测试编号，因为没有提交编号或无法达到99％的最低准确度。由于基准套件不断变化，因此将数字与以前的结果进行比较直到套件达到更成熟的状态并不是特别有用。但是，从结果中可以得出很多结论。对于数据中心应用，推论0.7v测试包括四个新的基准测试，即代表自然语言处理工作负载的双向编码器表示和转换（BERT），代表推荐工作负载的深度学习推荐模型（DLRM）和医学成像3DU-Net工作负载，以及递归神经网络转换器（RNN-T），表示语音到文本的工作量。在封闭类别中，结果与7月份发布的训练测试结果相似。加速平台的性能大大超过了纯CPU平台。领先的加速器是GPU，领先的GPU是NVIDIA基于Ampere架构的新型A-100GPU。在每个工作负载中，前领导者Tesla（T4）GPU的性能提升显然是显而易见的。这证明了Ampere架构的价值，该架构允许在单个GPU上进行七个推理分区。在其他加速器方面，仅XilinxFPGA代表并且仅在开放类别中。