AI时代带来的图片造假危机,该如何解决

2023-07-20 09:18:19

一、前言

当今,图片造假问题非常泛滥,已经成为现代社会中一个严峻的问题。随着AI技术不断的发展,人们可以轻松地通过图像编辑和AI智能生成来篡改和伪造图片,使其看起来真实而难以辨别,之前就看到过一对硕士夫妻为了骗保竟篡改结婚证、离婚证等信息:

甚至诺贝尔奖获奖者发表的论文中也疑似进行了图像篡改的行为:

这给社会带来了许多负面影响,尤其是在保险、金融、银行等领域,如果将虚假篡改过的信息资料审核通过更是会带来巨大的影响甚至是经济上的损失。

而且在当今AI快速发展的背景下,图像篡改的技术门槛越来越低,效果也越来越逼真。

所以,研究和开发图像篡改和伪造检测技术变得至关重要,推出一种能高效准确的检测出图像造假的方法或工具是迫在眉睫的!

刚好在最近的WAIC2023大会上,合合信息在图像篡改检测、AI图像安全领域上分享了他们的三种策略:图像篡改检测、AIGC判别、OCR对抗攻击技术:

让我们来看看他们是如何解决这些问题的。

二、会议分享

1)图像篡改检测

早在去年的世界人工智能大会上,合合信息”PS篡改检测”技术首次亮相,“像素级”起底修改痕迹,覆盖身份证、护照等多种证照识别类目,吸引了社会各界关注。我也使用过他们提供的PS检测服务来检测身份证伪造的情况,效果也是非常不错的,能够准确的识别出被篡改的部分:

今年合合信息团队对图像篡改检测“黑科技”持续优化升级,应用面也拓展至“截图篡改检测”,此前,图像篡改检测的技术研究对象主要集中于自然场景图像,然而,真正为人们的生活带来风险的通常是被篡改的资质证书、文档、截图等。现在合合信息的AI篡改检测技术还能够对包括转账记录、交易记录、聊天记录等多种截图,无论是从原图中“抠下”关键要素后移动“粘贴”至另一处的“复制移动”图片篡改手段,还是“擦除”、“重打印”等方式,图像篡改检测技术均可“慧眼”识假:

截图防伪检测对于证照检测来讲是更困难的,因为截图的背景没有纹路和底色,整个截图没有光照差异。证件篡改识别尚可通过拍照时产生的成像差异进行篡改痕迹判断,而截图则没有这些“信息”。现有的视觉模型通常难以充分发掘原始图像和篡改图像的细粒度差异特征,因此难以实现令人满意的准确率。为此,合合信息提出了一种基于HRNet的编码器-解码器结构的图像真实性鉴别模型,结合图像本身的信息包括但不限于噪声、频谱等, 从而捕捉到细粒度的视觉差异,达到高精度鉴别目的:

2)生成式图像鉴别

除此之外,合合信息在生成式图像鉴别方面也有所建树

在去年底的时候,我就体验过AIGC的强大,给予AI一段描述,短短几十秒就能生成出与之匹配的画作出来,下图为我使用某平台的AIGC产品生成的画作(描述文字内容为:森林里的蘑菇房子,梦幻仙境、蘑菇花草):

可以看到效果还是非常不错的,符合描述内容。

可是,随着AIGC的爆火后,不少人将它用于灰色或者违法产业,通过AI去生成不符合版权、违规的图片非法获利、混淆视听。严重危害了广大群众的财产,甚至是社会稳定:

庆幸的是,合合信息研发了AI生成图片鉴别技术,用于帮助个人及机构识别判断AI图片是否为生成的,防止“虚拟人”欺诈,通过解决生成式AI面临的部分伦理问题,助力生成式AI的健康发展:

合合信息基于空域与频域关系建模,输入图片后,模型通过多个空间注意力头来关注空间特征,并使用纹理增强模块放大浅层特征中的细微伪影,增强模型对真实人脸和伪造人脸的感知与判断准确度。能够在不用穷举图片的情况下,利用多维度特征来分辨真实图片和生成式图片的细微差异,解决了生成出来的图像场景繁多,不能穷举、有些生成图和真实图片的相似度过高,难以判别的两大难点。

该项技术的出现,在反诈骗、版权保护等领域的应用空间十分广泛。例如在金融行业,不法分子可利用AI合成技术对线上资金进行盗刷,威胁公民财产安全。本项技术可通过对支付环节的干预,降低资金盗刷概率;在传媒行业,某些图片供给方使用软件自动生成海报等图片,故意隐瞒其来源并售卖给第三方,第三方在不知情的情况下进行商用,导致了侵权问题,相关检测技术可在一定程度上解决这些问题。

3)OCR对抗攻击技术

相信大家在日常生活中,出于工作或其他业务的需要几乎都会遇到拍摄自己的证件照发送给第三方的情况,这些图片上承载的个人信息通常都是个人隐私,除了第三方和自己外不希望被别人获取。一但被别有用心的不法分子使用OCR技术识别提取并泄露,那会造成比较大的损失,比如新闻上经常看到的,身份信息被拿来搞电信诈骗,后面追责下来把自己送进监狱了,简直是无妄之灾!

市面上也有此类的对抗攻击技术来避免这样情况的出现,比如通过下面四种方式对图像进行加密,避免OCR的识别:

  1. 图像干扰:攻击者通过添加噪声、模糊化、旋转、变形等操作来干扰OCR系统对图像的识别。为了对抗这种攻击,OCR系统需要通过图像增强、边缘检测等技术来提高对图像的处理能力。

  2. 文字扰乱:攻击者通过在文本中插入其他字符、修改字符间距、改变字体等方式来扰乱OCR系统对文字的识别。为了对抗这种攻击,OCR系统需要通过设计更加鲁棒的字体和字符匹配算法。

  3. 对抗生成网络(GAN):对抗生成网络是一种通过训练生成器和判别器来同时提高生成样本的质量和判别样本真伪的技术。攻击者可以使用GAN生成看似真实但对OCR系统产生干扰的图像。为了对抗这种攻击,OCR系统需要通过对抗性训练、加入额外的鉴别器等方法提高对伪造图像的检测能力。

  4. 对抗样本生成:攻击者可以通过添加特定的噪声或干扰来改变图像,使得OCR系统产生错误的识别结果。为了对抗这种攻击,OCR系统需要采用强大的对抗样本检测算法,以便及时识别并拒绝对抗样本。

合合信息在此基础上也做了进行了创新技术探索,研发了OCR对抗攻击技术来进行文档图片“加密”,以防止不法分子使用OCR技术识别和提取其中的个人信息,该技术可在不影响肉眼观看与判断的情况下,对场景文本或者文档内文本进行扰动,对包含中文、英文、数字等关键信息的内容进行“攻击”,防止第三方通过OCR系统读取并保存图像中所有的文字内容,降低数据泄露的风险,以此达到保护信息的目的:

三、总结

通过AI,可以制作虚假的图片和新闻报道、以此破坏媒体的可信度和新闻的真实性。这可能导致公众对媒体和新闻的信任度下降,影响舆论和社会稳定。毫不夸张的说,AI造假技术对媒体、法律、政治、娱乐、社交媒体和个人安全等多个行业都会带来巨大的影响。

所以,检测这些造假信息的研究和开发对于保护社会安全和维护公正正义具有重要意义。合合信息AI图像内容检测产品的出现,在保护图像真实性和识别文本方面发挥了重要的作用。 通过自动化、高准确性和多样化的检测功能,这些技术能够帮助用户检测和防御图像篡改、生成式图像欺骗和OCR对抗攻击等问题。然而,我们仍然需要不断努力和创新,以应对不断变化和复杂化的篡改和伪造手段。只有这样,我们才能够更好地应对图像篡改和伪造问题,维护社会的稳定和公正。

值得高兴的是,中国信通院已牵头启动了《文档图像篡改检测标准》制定工作,该项标准由中国信通院牵头,上海合合信息科技股份有限公司、中国图象图形学学会、中国科学技术大学等科技创新企业及知名学术机构联合编制。以期为文档图像内容安全提供可靠保障,助力新时代AI安全体系建设。基于产业现状,围绕“细粒度”视觉差异伪造图像鉴别、生成式图像判别、文档图像完整性保护等行业焦点议题,凝聚行业共识,以期为行业提供有效指引,挖掘文档图像篡改检测技术趋势,助力图像产业健康成长。

相信随着该项标准的制定以及这么多顶尖企业的努力,将会为该行业注入更多的安全感和稳定性。

更多推荐

RL — 强化学习算法概述

一、说明在本系列中,我们检查了许多强化学习(RL)算法,例如,MoJoCo任务的策略梯度方法,Atari游戏的DQN和机器人控制的基于模型的RL。虽然许多算法都是针对特定领域引入的,但这种联系只能是遗留的。在本文中,我们将概述这些算法,并讨论它们在选择使用什么方法时的一般权衡。二、无模型算法RL算法可分为基于模型的算法

飞书ChatGPT机器人 – 打造智能问答助手实现无障碍交流

文章目录前言环境列表1.飞书设置2.克隆feishu-chatgpt项目3.配置config.yaml文件4.运行feishu-chatgpt项目5.安装cpolar内网穿透6.固定公网地址7.机器人权限配置8.创建版本9.创建测试企业10.机器人测试前言在飞书中创建chatGPT机器人并且对话,在下面操作步骤中,使用

静态代码分析基础知识及分析工具

安全之安全(security²)博客目录导读ATF(TF-A)/OPTEE之静态代码分析汇总目录一、静态代码分析介绍二、静态代码分析工具三、Sonarlint静态代码分析工具介绍1.定义2.特性3.SonarQube的官方文档一、静态代码分析介绍根据维基百科,静态代码检查又称为静态程序分析,是指在不运行计算机程序的条件

WAIC2023:图像内容安全黑科技助力可信AI发展

目录0写在前面1AI图像篡改检测2生成式图像鉴别2.1主干特征提取通道2.2注意力模块2.3纹理增强模块3OCR对抗攻击4助力可信AI向善发展总结0写在前面2023世界人工智能大会(WAIC)已圆满结束,恰逢全球大模型和生成式人工智能蓬勃兴起之时,今年参会的人们更加关注AIGC技术在未来可以如何作用于人们的生活。自AI

公网访问的Linux CentOS本地Web站点搭建指南

文章目录前言1.本地搭建web站点2.测试局域网访问3.公开本地web网站3.1安装cpolar内网穿透3.2创建http隧道,指向本地80端口3.3配置后台服务4.配置固定二级子域名5.测试使用固定二级子域名访问本地web站点前言在web项目中,部署的web站点需要被外部访问,则需要一个媒介,通过把资源放在这个媒介中

PSO粒子群优化算法

PSO粒子群优化算法算法思想matlab代码python代码算法思想粒子群算法(ParticleSwarmOptimization)优点:1)原理比较简单,实现容易,参数少。缺点:1)易早熟收敛至局部最优、迭代后期收敛速度慢的。算法拓展针对标准PSO的缺点,通常有如下的改进:实现参数的自适应变化。引入一些其他机制。比如

Mysql和ES、Redis数据同步方案汇总

文章目录前言一、数据同步方案1.同步双写2.异步双写([MQ](https://so.csdn.net/so/search?q=MQ&spm=1001.2101.3001.7020)方式)3.基于Mysql表定时扫描同步4.基于[Binlog](https://so.csdn.net/so/search?q=Binlo

AIGC数据处理与存储解决方案

针对在AIGC的场景下,如何解决在AIGC训练过程中数据的存储和数据处理的问题,杨冠军从三个方面进行介绍与解读:一是AIGC对存储提的新需求;二是介绍腾讯云可以给用户提供的整体存储解决方案;三是腾讯云提供的整体数据处理方案。AIGC的新需求:模型训练与应用推理的述求我国每年产生的数据量呈现非常大的增长趋势,这个前提还是

【JavaSE笔记】继承与多态(万字详解)

一、前言在Java的核心概念中,继承和多态无疑是重要的一环。它们都是Java以及其他许多面向对象编程语言的基石,为我们提供了强大的工具来创建模块化,可重用和易于维护的代码。继承让我们可以创建新的类,通过继承现有类的属性和方法,来复用代码并添加或覆盖特定的行为。这为我们提供了一种强大的方式来组织和结构化我们的代码,使我们

【活动总结】0730-COC深圳社区AI●CMeetup第4期——畅谈AI+智能制造与机器人的现状与未来

【活动总结】0730-COC深圳社区AI●CMeetup第4期——畅谈AI+智能制造与机器人的现状与未来在过去的半年里,AI相关技术取得了革命性突破,CSDNCMeet策划推出系列研讨会,深度探讨技术更新后的开发实践。然而,更重要的是如何对AI实践应用,如何在最大程度上发挥AI的产业价值,提升生产效率。因此,AIMee

白鲸开源 X SelectDB 金融大数据联合解决方案公布!从源头解决大数据开发挑战

业务挑战与痛点随着互联网技术的发展、云计算技术的成熟、人工智能技术的兴起和数字化经济的崛起,数据已成为企业的核心资产。在金融行业中,数字化已成为了支撑各类业务场景的核心力量,包括个人理财、企业融资、股票交易、保险理赔、贷款服务、支付结算、投资咨询、资产管理等等。然而,在基于大数据分析与处理技术的业务建设中,当下的金融企

热文推荐