在实验室中调整机器学习模型并使其达到近乎完美的性能已经不是什么秘密了，但是在现实环境中它们经常会失败。这通常归因于这样一个事实，即经过训练和测试的人工智能数据与实际遇到的数据不匹配。此问题称为数据传输。例如，经过培训后，可以在高质量医学图像中发现疾病迹象的人工智能将发现，难以识别繁忙诊所中廉价照相机捕获的模糊或裁剪图像。现在，来自Google的7个不同团队的40位研究人员发现了机器学习模型普遍失败的另一个主要原因。这被称为“不规则性”。这可能是比数据传输更大的问题。领导这项研究的Alex D＆amour说：“我们对机器学习模型的要求超出了我们现有方法所能保证的。” D＆amp; amour的初步调查如雪球般滚滚，涉及Google的数十项研究。员工最终专注于各种不同的人工智能应用程序，从图像识别到自然语言处理（NLP）到疾病预测。他们发现，不规则的要求是所有这些项目表现不佳的原因。问题在于机器学习模型的训练和测试方法，没有简单的解决方案。粗略地讲，构建机器学习模型需要对大量示例进行训练，然后对一系列从未见过的类似示例进行测试。模型通过测试后，即完成。谷歌研究人员指出，这个标准太低了。训练过程可以产生许多都通过测试的不同模型，但是这些模型会有一些小差异，具体取决于神经网络中的节点，例如训练开始之前的随机值，训练数据，选择方式或代表，以及训练跑步次数等。如果这些小的随机差异不影响测试中模型的性能，则通常将其忽略。但是事实证明，在现实世界中，它们可能会导致巨大的性能差异。换句话说，当今用于构建大多数机器学习模型的过程无法区分哪些模型在现实世界中是可行的，哪些不是。为了解决这个问题，一种选择是在训练和测试过程中设计一个额外的阶段，在该阶段中，可以同时生成多个模型，而不仅仅是一个模型。然后，可以在特定的实际任务中再次测试这些竞争模型，以选择最适合该工作的模型。这需要很多工作。苏黎世联邦理工学院的机器学习研究员Yannic Kilcher表示，但是对于像Google这样的公司来说，它们构建并部署大型模型是值得的。他说，谷歌可以提供50种不同版本的NLP模型，应用程序开发人员可以选择最适合他们的模型。 D'Amour和他的同事们尚未解决此问题，但正在探索改善培训过程的方法。他说：“我们需要更好地阐明对模型的要求。” “因为最终结果通常是我们仅在模型在实际应用中失败后才发现这些要求。”外部影响与实验室的内部影响一样大，因此维修必不可少。谷歌医学人工智能领域的合著者凯瑟琳·海勒（Katherine Heller）说，当人工智能在现实世界中表现不佳时，人们不愿使用它：“就杀手级应用而言，我们拥有失去了很多信任。这是我们希望重新获得的重要信任。”