科技评论

ICCV2019 Oral 如何避免高置信度的错误预测

  本文简要介绍CVPR 2019的Oral论文:Why ReLU Networks Yield High-Confidence Predictions Far Away From the Training Dataand How to Mitigate。该文章主要解决的问题是:在已知分布以外的样本上,神经网络预测结果的置信度过高。

  开源代码:https://github.com/max-andr/relu_networks_overconfident

  本文转载自「CSIG文档图像分析与识别专委会」公众号。

一、研究背景

  神经网络拟合能力极强。通常来说,提供足够多的训练样本,神经网络的鲁棒性能极大提高。然而,神经网络的鲁棒性提高了,也带来了风险。例如,将一个在CIFAR 10数据集(10类普通物体)上训练的神经网络,放到SVHN数据集(街景门牌)上做测试,该模型竟然能够以100%的置信度将门牌识别为狗、鸟和飞机等。这个现象引发了一个问题:神经网络的预测什么时候是可靠的,具体来讲,当这个样本在已知分布以外时,神经网络能不能以较低的置信度表示没有学习过这种样本,避免高置信度的错误预测?

  图1.高置信度错误样本示例(图像来源:https://github.com/max-andr/relu_networks_overconfident)

  二、主要贡献

  这篇文章主要通过理论建模,解释ReLU带来的高置信度问题,并提出两种训练方式,即con?dence enhancing data augmentation(CEDA)和adversarial con?dence enhancingtraining (ACET),来缓解上述的不良情况。

  三、基本理论

  首先,作者先给出定义,什么是piecewise a?ne functions[1] :

  这里的线性区域的显式上界已经在[2] 中讨论。与[3] 类似,带有ReLU的线性变换(如全连接层)可以写为:

作者引入两个对角矩阵:

则线性变换可以表示为:

为了进一步简化表示,作者将上述式子简写为:

  其中,

四、高置信度问题

  在解释ReLU带来的高置信度问题前,作者先给出引理:

紧接着是数值上的讨论:

  上述的证明过程请见该论文的补充材料。

  五、两种训练方式

  作者提出了两种训练方式,一种是从数据层面来改善,例如攻击样本,另一种是在loss方程上的改进。两种方法的名称分别是con?dence enhancingdata augmentation(CEDA)和adversarialcon?dence enhancing training (ACET)。

  数据增广CEDA上,每个batch加入λB张噪声图像,服从pout分布,这个做法类似[4] :

  其中,

另一种ACET方法最小化下列的表达式:

其中,p设置为正无穷大,即与u差距最大的z起重要作用:

六、实验结果

  作者在MNIST, SVHN, CIFAR-10 和CIFAR100上进行实验。在一个数据集上训练,在其余的数据集上测试,观察置信度的分布情况。实验发现,CEDA和ACET都能显著缓解本文开头阐述的问题,即神经网络对已知分布以外的样本置信度过高的问题。在CIFAR-100上,最好的指标均来自ACET方法。

  为了进一步阐述该文章的效果,作者在项目主页上(https://github.com/max-andr/relu_networks_overconfident),给出了Two Moon Dataset上的二分类可视化结果。对于图2中红色和绿色两个半月形的训练样本,简单的分类器只会在两个类别中间画出N字型的低置信度区域。虽然模型并没有见过左上部分和右下部分的数据,但它仍然会在这一大片区域给出100%置信度的分类预测。

图2.简单的二分类模型的置信度

  作者使用CEDA的方法训练模型,由图3能够得知,对于训练数据以外的大部分数据,模型都能给出比较低置信度的预测。

图3.基于CEDA的二分类模型的置信度

  由于CEDA增加了额外训练样本,消耗更多训练时间,且对训练样本临近域的样本的甄别效果依然较差,所以作者使用ACET方法训练的模型,它的高置信度数据区域会更少,如图4所示。

图4.基于ACET的二分类模型的置信度

  七、总结与讨论

  一个需要权衡的问题,模型首先不能过拟合于训练集(overfitting),但是也不能对训练集以外的未知分布的样本过度自信(over confidence)。本文提出的CEDA和ACET通过挖掘训练集分布边缘的样本来提高模型对分布边缘的敏感度,抑制模型过度自信。这是一个很重要却少有学者思考的问题,该论文初步缓解了这个问题,也给未来更多的问题带来启发,例如少样本或零样本学习问题、类别分布不均匀(拖尾)问题等。

Copyright © 2002-2019 huohu365.com. 火狐网 版权所有