• 科研快讯

复旦大学计算机学院钱振兴、张新鹏在ACM国际多媒体会议提出从数字图像到免疫图像新思路

2022.07.06

在2021年举办的ACM国际多媒体会议(ACM International Conference on Multimedia)中,复旦大学计算机学院的钱振兴和张新鹏等人针对互联网图像传输中的出现的新问题率先提出了“免疫图像”新思路。

随着通过互联网传输的图像数量飞速增长,数字图像已逐步取代传统胶片照片并不断通过社交网络服务进行共享。然而数字图像非常容易受到一系列常见篡改攻击导致自身语义信息被扭曲。常见攻击有拼接、复制粘贴、图像恶意修补、调色,等等。尽管研究者们提出了一系列基于被动取证的数字图像篡改检测方法,但是实际应用中,图像取证仍然面临较大问题,首先,由于攻击者的篡改手段非常多元,并且时常利用图像后处理手段掩盖图像修改的痕迹,目前大量被动取证算法的鲁棒性与稳健性都存在一定问题,另一方面,即使能够正确定位图像中被篡改的位置,由于无法对原始内容进行恢复,因此,也很难推测出攻击者之攻击意图,例如,是否移除了图像可见水印,移除了什么样的水印,等等。

免疫图像:向图像添加不可见扰动,实现篡改定位与内容恢复

复旦大学计算机学院的钱振兴和张新鹏等人所提出的“免疫图像”新思路,就是在成像过程中添加不可见扰动,具备自动定位篡改与恢复原始内容的能力,使得图像在采集生成之初,具备抵抗各种篡改和常规处理。使用深度学习生成的免疫图像,在内容被篡改及处理后,人们还可以自动发现图中被篡改内容,并近似恢复原始图像。该文设想未来的图像都具备抗篡改的免疫能力。

免疫图像效果展示:精确的篡改定位与原始内容恢复

具体而言,其中包括了编码网络(Encoder)、 噪声层(Noise Layer)、鉴别器(Verifier)、提取网络(Decoder),编码网络用于生成图像,噪声层用于模拟各种攻击以达到鲁棒性,鉴别器用于鉴别图像是否被篡改,提取网络则用于恢复被篡改内容。除了噪声层以外的网络,本文均采用经典的 U-Net深度学习网络结构。另外,我们还使用两个基于PatchGAN的判别器网络,分别用于判断原始图像与编码后图像、原始图像与恢复图像的真假,以此提升网络生成的图像的质量。我们也使用其它网络结构进行了实验,结果表明使用其他经典深度学习网络例如InceptionNet、ResNet等,也可以得到相似效果,相比之下U-Net的收敛速度与开销是更优。另外,本文在训练过程中也使用了一些技巧,包括提取端采取渐进恢复思想,鉴别与恢复任务进行解耦,以及提出了空域特征分享机制。

免疫图像网络设计:包含嵌入网络、噪声模拟网络、篡改定位网络与恢复网络

在实际测试中,免疫图像保持了很好的质量,与原始图像相比的残差很小,同时,当免疫图像受到篡改及再压缩攻击后,也具有很强的篡改定位与自我恢复能力,由于被攻击图像被保存为JPEG格式,因此篡改图像中也可认为被叠加了有损压缩攻击,从实验中可以看出该方法的篡改检测非常准确,从内容恢复的能力上来看,被篡改区域也有不错的恢复质量,该方法还可有效抵抗缩放、噪声等叠加处理。 

免疫图像实验结果:对不同面积篡改与多种后处理攻击具有鲁棒性

与现有的图像篡改检测与图像恢复方法相比,该算法体现出了可靠性、鲁棒性、适用范围广、实用性等优势。具体而言,相比现有图像篡改检测方法,图像免疫算法在多种图像后处理攻击下仍能对篡改区域进行精确定位,相比现有的图像恢复方法,图像免疫算法能够高保真地、高置信度地恢复原始图像信息,而非仅恢复篡改区域原始内容的一个可能结果。因此,免疫图像能够在更多实际应用场景中得到应用。