Jedi: Entropy-based Localization and Removal of Adversarial Patches本文研究的是对抗性补丁的定位和去除问题，这种攻击方式通过在图像中添加一定范围内的对抗性图案来实现，对现有的图像识别系统构成了严重威胁。针对当前防御方法效果不佳，特别是对GAN生成的自然对抗性补丁防御能力有限的问题，本文从信息理论的角度出发，提出了一种新的解决方案。一、研究背景与动机对抗性补丁攻击是一种新型的攻击方式，其通过在图像中嵌入精心设计的对抗性图案，可以轻易地欺骗现有的图像识别系统，导致系统做出错误的判断。这种攻击方式具有隐蔽性强、攻击效果显著的特点，对图像识别系统的安全性构成了严峻挑战。然而，现有的防御方法大多基于特定的假设或模型，对于GAN生成的自然对抗性补丁等新型攻击方式，其防御效果并不理想。因此，本文旨在提出一种更为通用、有效的对抗性补丁定位和去除方法。二、主要贡献与创新点基于熵分析的对抗性补丁定位：本文从信息理论的角度出发，将对抗性补丁的定位问题转化为熵分析问题。通过计算图像中各个区域的Shannon熵，可以得到一个局部熵的热力图。由于对抗性补丁区域通常包含更多的信息不确定性，因此其熵值往往较高。利用这一特性，本文成功实现了对抗性补丁区域的定位。自编码模型实现补丁去除：在成功定位对抗性补丁区域后，本文进一步利用自编码模型对补丁区域进行去除。通过训练一个自编码模型，可以学习到图像的正常特征表示，并据此对对抗性补丁区域进行修复，从而恢复图像的正常内容。模型无关性：由于本文提出的Jedi方法基于输入熵分析，因此不依赖于特定的模型。这意味着Jedi方法可以应用于各种预训练的现成模型上，无需对模型进行额外的修改或训练。三、方法概述本文提出的方法主要由以下三步构成：潜在对抗补丁区域定位：首先，通过计算图像中各个窗口内的Shannon熵，得到一个局部熵的热力图。高熵区域可能是对抗性补丁区域，因此需要进行进一步的分析。选择合适的熵阈值：为了准确识别对抗性补丁区域，需要选择一个合适的熵阈值。通过调整阈值，可以确保高熵区域（即潜在的对抗补丁区域）不被过滤掉，而低熵区域则被过滤掉。自编码模型修复：最后，利用训练好的自编码模型对高熵核（即潜在的对抗补丁区域）进行定位和去除。通过自编码模型的修复能力，可以恢复图像的正常内容，从而实现对对抗性补丁的去除。四、实验结果与性能评估实验结果表明，本文提出的Jedi方法在各个基准数据集上的检测率均达到了90％以上，且定位成功的对抗补丁的修复率也有明显提高。这一结果表明，Jedi方法具有强大的对抗性补丁定位和去除能力，能够有效提高图像识别系统的安全性。五、结论与展望本文通过基于熵的对抗性补丁定位和去除方法，成功解决了对抗性攻击中的补丁问题。提出的Jedi方法不仅具有模型无关性，而且能够在不同场景中表现出良好的鲁棒性。未来，我们将继续深入研究对抗性攻击与防御技术，为图像识别系统的安全性提供更加坚实的保障。同时，我们也期待与更多的研究者合作，共同推动对抗性机器学习领域的发展。