深度神经网络是人工智能（AI）的最基本方面之一，因为它们用于通过数学建模处理图像和数据。深度神经网络为人工智能的发展贡献很多，但是它们也经常会发生各种故障。这些故障可能会产生很小甚至微不足道的影响（例如简单的错误识别），但是也有可能造成更为严重和致命的错误（例如自动驾驶故障）。

休斯顿大学的一项新研究表明，我们对这些故障的常见假设可能是错误的。该论文于11月发表在《自然机器智能》上。

机器学习和其他类型的AI在许多领域和任务中至关重要，例如银行和网络安全系统。UH哲学副教授卡梅伦·巴克纳（Cameron Buckner）认为，必须了解“对抗性例子”带来的失败。当一个深度神经网络系统在用于开发网络的训练输入之外遇到信息时，会误判图像和其他数据，就会出现这些对抗性示例。

对抗性示例很少见，因为它们很多时候是由另一个机器学习网络创建或发现的。

巴克纳写道：“这些对抗性事件中的一些反而可能是人工产物，为了更好地了解这些网络的可靠性，我们需要更好地了解它们是什么。”

巴克纳说，故障可能是由所涉及的实际模式与网络要处理的内容之间的相互作用引起的，这并不是完全错误。

巴克纳说：“了解对抗性例子的含义需要探索第三种可能性：这些模式中至少有一些是人工的。” “因此，目前简单地丢弃这些模式既有代价，也有天真地使用它们的危险。”

尽管并非总是如此，但故意的渎职行为是导致这些导致机器学习故障的对抗性事件的最高风险。

巴克纳说：“这意味着恶意行为者可能欺骗依赖于本来可靠的网络的系统。” 这可能是黑客违反了基于面部识别技术的安全系统，或者是误贴交通标志以使自动驾驶汽车混乱。

其他先前的研究表明，某些对抗性例子是自然而然的，发生在机器学习系统通过意料之外的交互来误解数据时，这与通过数据错误而不同。这些自然发生的例子很少见，目前发现它们的唯一方法是通过AI。

但是，巴克纳说，研究人员需要重新考虑他们处理异常的方式。

这些异常或伪影由巴克纳（Buckner）通过照像照片中的镜头眩光来解释，这不是由相机镜头的缺陷引起的，而是光与相机的相互作用引起的。

如果知道如何解释镜片的外观，则可以提取重要信息，例如太阳的位置。因此，巴克纳（Buckner）认为有可能从人工制品引起的机器学习不良事件中提取同等有价值的信息。

巴克纳还说，所有这些并不自动意味着深度学习是无效的。

他说：“其中一些对抗性事件可能是人为原因导致的。” “我们必须知道导致这一错误的原因是什么，这样我们才能知道系统是否可靠。”