在开放场景中部署深度学习系统时,模型不可避免地会遭遇与训练分布不 一致的输入数据,即分布外样本。常规深度学习模型难以处理此类样本,且往往 会呈现过度自信的情况,这对模型的安全性构成严重威胁。分布外检测器能够区 分分布外样本,在一定程度上增强了模型安全性。然而,在开放场景下,分布外 检测器容易遭受恶意攻击。攻击者可通过制作对抗样本绕过检测器,进而危及整 个系统安全。因此,设计具备鲁棒性的分布外检测器,对于保障开放场景中深度 学习系统的稳定运行具有重要作用。 鲁棒分布外检测要求在面对对抗样本时,仍能精准实现分布外检测,是一项 具有挑战性的任务。常规的鲁棒分类器借助对抗训练可获取一定鲁棒性,但缺乏 有效的分布外检测能力;传统分布外检测器虽能较好区分干净样本,却难以抵御 对抗攻击。部分研究尝试将对抗训练与分布外检测中的离群值暴露方法简单融 合,然而效果不佳。由此可见,鲁棒分布外检测无法单纯依靠方法迁移或简单融 合来实现,必须综合考量对抗性与分布外因素,协同优化,这无疑增加了研究的 难度。 本文对鲁棒分布外检测进行了系统的研究,设计了针对分布外检测的鲁棒 性评估方法,分别在有额外数据和无额外数据的场景提出了针对性的鲁棒分布 外检测方法,改进了现有方法的不足,取得了最佳的性能。具体研究工作如下: (1) 针对现有工作对分布外检测器的鲁棒性评估不够完善和强力的问题,提 出了基于检测分数的分布外检测自适应攻击方法。该方法针对分布外检测器以 检测分数为攻击目标,对分布内和分布外扰动从不同的方向优化求解,同时制作 对抗分布内样本和对抗分布外样本以进行全面的攻击。实验表明,现有分布外检 测方法面对该攻击时 AUROC 指标会大幅下降超过 70%。该工作揭示了分布外 检测算法的脆弱性,并为分布外检测的鲁棒性提供了有效的评估方法。 (2) 针对有额外数据集场景下现有工作使用额外数据时会引入大量无用信息 的问题,提出了基于有效点选取的鲁棒分布外检测方法。该方法通过特征聚集和 马氏距离对额外数据集进行有效的选取以避免无用信息的引入,同时将有效点 融入神经 ODE 去噪器的训练以增强模型的鲁棒性。实验表明,在有额外数据集 的场景,该方法在 CIFAR10 数据集上性能比现有方法提升 2.5%,在 CIFAR100 数据集上提升 4.8%,面对攻击时性能下降不超过 5%。该工作为具有额外数据场 景下的鲁棒分布外检测提供了有效的方法。 (3) 针对无额外数据集场景下现有工作生成虚拟分布外数据时未考虑对抗性 且具有较强的分布假设的问题,提出了基于虚拟离群点生成的鲁棒分布外检测方法。该方法通过对抗性传播将特征点驱使向不鲁棒区域,并利用 k-近邻距离 进行边界点鉴别和虚拟离群点采样以获得对抗性的虚拟离群点。为了保证鲁棒 性并削弱过度自信,该方法还将 logit 归一化融入神经 ODE 的训练过程。实验表 明,在无额外数据集的场景,该方法在 CIFAR10 数据集上性能比现有方法提升 3.7%,在 CIFAR100 数据集上提升 6.6%,面对攻击时性能下降不超过 4%。该工 作为无额外数据场景下的鲁棒分布外检测提供了有效的方法。
