原标题：挡下百万人类的AI假图假音频，被这三个控制技术破解了
作者 | ZeR0编辑 | 漠影进入聚合式人工智慧（或称AIGC）高歌猛进的时代，作假变得更为毫不费力近年来，PS印章、信件、保险单、婚纱照的违法行为已经层出不穷，还有些人唯恐天下不乱地借用P图若非，或者展开勒索。
据江西公安日前披露的案件，一个四人团伙用“PS”合成不雅照展开勒索，至被抓时已跨四省共计递送900molars勒索信，勒索金额总计1.6亿多元（自杀未遂）快速进化的AI聚合控制技术，更是让聚合假相片、影像/音频换脸更为孔图。
今年3月，Reddit网民上载了一组历史记录2001年北美东海岸发生的9.1级海啸和海啸该事件的新闻该事件，但事实上大列佩季哈区相片都是用AI爱华图工具Midjourney聚合的。
▲Reddit网民上载的虚假海啸新闻相片（图源：Reddit）AI换脸伪装成熟人新骗子亦高频出现今年4月，厦门市某信息技术公司法定代表人赵先生10分钟内被他用假装成好友的AI换脸音频诈欺430多万元，5月，芜湖市杨先生因一段假装成熟人的9秒AI换脸音频被诈欺245多万元。
“有图有真相”已经成为历史，随着AI影像内容安全可靠的警报频繁莱桑代利县、影像伪造门槛逐渐增加，加强AI吓阻控制技术研究愈发刻不容缓日前，中国热动院、人工智慧及大数据信息技术企业锦利重要信息等机构联手启动了《文件格式影像盗用检验标准》修编。
在上周举行的世界人工智慧大会期间，锦利重要信息分享了针对典型影像安全可靠问题的三项重点控制技术：AI影像盗用检验、聚合式影像鉴别、OCR对抗攻击控制技术影像领域的可靠AI才刚刚起步由AI盗用、聚合的影像与真实影像有什么样并不相同？如何通过先进AI控制管理手段展开分辨？可靠AI产业化需闯过什么样困境？我们与锦利重要信息智能化技术创新销售部副总经理母龚氏展开了深入交流。
一、AI影像盗用检验：慧眼不惧截屏，筛选五类截屏盗用P图是常见的影像盗用手段之一在学术界，用PS暗喻学术作假会扰乱评价机制；在工业界及日常生活，PS盗用证件、票据、合同、银行保险单、审图、交易历史记录等重要材料的截屏若被利用，可能会造成经济损失。
▲锦利重要信息AI影像盗用检验控制技术应用效果展示（图源：锦利重要信息）
锦利重要信息智能化技术创新销售部副总经理母龚氏告诉智东西，基于多年行业积累，锦利重要信息发现各种形式的截屏盗用方式，基本可以归纳为四种类型：拷贝终端、堆叠、抹除、重打印拷贝终端即在原图中“抠”出关键要素再粘贴到另一处；堆叠
是将不同影像堆叠成一张新影像；抹除能够不留痕迹地擦掉一些关键重要信息，如去除大面积复杂水印；重打印则是在抹除的基础上重新编辑新文件格式截屏因为没有图层，背景没有纹路和底色，没有拍照时产生的成像差异、光照差异等重要信息，检验难度更高。
这需要先进的检验控制技术来大批量发现被盗用/伪造的重要信息，保障重要信息真实性，防止欺诈行为的发生然而，现有的视觉模型通常难以充分发掘原始影像和盗用影像的细粒度差异特征，因此难以实现令人满意的准确率为此，锦利重要信息提出了一种。
基于HRNet的编码器－解码器结构的影像真实性鉴别模型，使用分割模型，Backbone使用ConvNeXt作为编码器，用LightHam和EANet两个网络并行作为解码器，结合影像本身的重要信息包括但不限于噪声、频谱等，从而捕捉到细粒度的视觉差异，达到高精度鉴别目的。
▲盗用检验控制技术模型结构（图源：锦利重要信息）
给定一张图片，输入到锦利重要信息的AI影像盗用检验模型中，该模型就能迅速判别这张影像是否被盗用，并且精确定位到影像的盗用区域。盗用处会以热力图的形式呈现。▲“重打印”盗用图片检验示例（图源：锦利重要信息）
随着图片作假控制技术的提升和修图软件使用门槛的降低，很多时候，人眼必须展开非常细致地观察，才能发现这些盗用影像的端倪例如银行等场景每天要审核大量的截屏、相片，仅靠人工方式不仅效率低下，因疲惫而出错的概率也更高。
相比人类，AI算法能够更高效稳定地检验到一些微小的、像素级的破绽，大幅提升核查效率母龚氏认为，聚合控制技术与检验控制技术好比“矛”与“盾”，会不断出现更顶级的聚合控制技术，而信息技术发展永远是控制技术和经济性的双重问题，AI影像安全可靠检验控制技术的行业价值在于能攻破常见的、产业级规模的作假，维护大多数人的权益。
二、AIGC判别：AI音频换脸挡下身份验证？ 多维度特征分辨“虚拟人”输入一段文字就能聚合以假乱真的影像，传几张相片就能展开音频换脸……爆火的AIGC（AI内容聚合）控制技术，在为创作者提供了高效生产力工具的同时，也打开了潘多拉魔盒——一些不法分子用于作假新闻、规避版权、绕过活体身份验证、造谣诽谤、勒索，非法牟利。
▲AIGC聚合图片引发社会问题（图源：锦利重要信息）
比如在金融行业，有他用AI合成控制技术对线上资金展开盗刷；在传媒行业，某些图片供给方使用软件自动聚合海报等图片，故意隐瞒其来源并售卖给第三方，导致后续出现侵权纠纷AI聚合式影像检验控制技术则有助于解决这些问题这类项目主要有两个难点，一是聚合出来的影像场景繁多，不能穷举；二是有些聚合图和真实图片的相似度过高，重要信息真伪判定难度大。
以AI换脸音频为例，过去“AI假脸”的纹理特征破绽较为明显，比如眼睛、牙齿轮廓细节不一致，连续动作实时渲染存在丢帧、不流畅等情况，这些“穿帮”画面仅凭肉眼就能察觉但随着控制技术快速演进，聚合式AI很快就能优化这些细节问题，聚合更为以假乱真的画面。
锦利重要信息研发的AI聚合式影像鉴别控制技术，基于空域与频域关系建模，能在不用穷举图片的情况下，利用多维度特征来分辨真实图片和聚合式图片的细微差异。▲AI聚合式影像鉴别控制技术模型结构（图源：锦利重要信息）
母龚氏告诉智东西，该模型的设计融入了锦利重要信息在真实场景中积累的大量行业经验输入图片后，模型通过多个空间注意力头来关注空间特征，并使用纹理增强模块放大浅层特征中因为音频连续性特征而形成的一些细微伪影，增强模型对真实人脸和伪造人脸的感知与判断准确度。
目前，相关控制技术也在不断迭代中三、OCR对抗攻击：给文本数据“加密”，严防隐私重要信息泄露OCR对抗攻击控制技术被用于防止不法分子利用控制管理手段非法爬取图片上的重要信息在日常生活和工作中，人们经常在网上发送自己相关证件、文件的图片，这些图片包含的个人重要信息（比如地址、银行卡号）可能会被第三方平台用OCR控制技术批量截获并泄露。
对此，锦利重要信息研发了OCR对抗攻击控制技术来展开文件格式图片“加密”，对关键重要信息展开遮盖，在不影响肉眼观看的情况下，阻止图片中指定的目标文本被机器自动爬取▲锦利重要信息OCR对抗攻击控制技术应用效果展示（图源：锦利重要信息）。
输入图片后，首先通过已知的默认OCR系统检验图片中的文本位置和内容重要信息，指定目标文本后系统在目标文本的周围区域迭代地添加特定的高斯噪声、亮度变换等攻击手段，然后通过默认OCR系统的识别结果作为反馈调整迭代轮数，将对默认OCR系统攻击成功时的图片的最终结果送入目标OCR系统中展开验证。
▲OCR对抗攻击网络系统结构（图源：锦利重要信息）
该控制技术可在不影响肉眼观看与判断的情况下，对场景文本或者文件格式内文本展开扰动，对包含中文、英文、数字等关键重要信息的内容展开“攻击”，防止第三方通过OCR系统读取并保存影像中所有的文字内容，有效降低数据泄露风险，以此达到保护重要信息的目的。
四、17年深耕AI研发，与AI作假斗智的底气何来？深耕人工智慧17年的锦利重要信息，是国内影像内容安全可靠保护的控制技术及行业专家在智能化文字识别及商业大数据领域，锦利重要信息行业根基深厚，为全球超过200个国家和地区的
上亿用户提供智能化文字识别产品及AI服务，坐拥名片全能王、扫描全能王、启信宝等明星C端产品，并向超过30个行业提供B端服务从控制技术积累来看，锦利重要信息长期聚焦于文件格式智能化领域中的前沿控制技术探索，已获得超百项自主知识产权发明专利。
母龚氏说，锦利重要信息的护城河包括多年累积的人才、算法、算力以及行业洞见其智能化文字识别、智能化文件格式处理相关控制技术已发表于CVPR、AAAI、ACL、ACM MM等国际顶会，已经拿下15项顶级国际AI竞赛的冠军，并接连获得中国热动院的多项高分评级。
例如，在智能化文件格式处理系统评估中，锦利重要信息产品智能化文件格式处理产品在通用能力及AI核心能力方面均表现优异，多项测试结果获得最高评定等级5分评分在OCR能力评估中，其智能化文字识别产品通过全部7项基础类功能指标测试及9项增强类功能指标测试，获得。
最高评定等级“增强级”评级。▲智能化文件格式处理系统评估测试（图源：中国热动院）
评估报告显示，锦利重要信息的智能化文字识别产品展现出良好的性能和服务成熟度以具有较大难度的证件类和票据类性能测试为例，面对旋转、阴影、反光、褶皱、形变等复杂场景，锦利重要信息智能化文字识别产品均有较高的识别准确率，字符准确率分别为99.21%和99.59%，字段准确率分别为97.87%和98.42%。
聚合式AI的发展面临多重挑战，对可靠AIGC提出迫切需求在世界人工智慧大会多模态基础大模型的可靠AI专场论坛上，中国科学院院士、上海华科智谷人工智慧研究院院长何积丰谈道，AI系统的“可靠性”应反映6种品质：。
正确性、伦理性、安全可靠性、可释性、公平性、鲁棒性。▲何积丰院士在世界人工智慧大会上演讲的PPT截屏
中国热动院等4家机构联合发起《AIGC可靠倡议》，联合政产学研用，表达了对AIGC和可靠AI在科学研究、控制技术攻关、工程应用、标准测试、伦理安全可靠、国际合作、人才培育等方面的技术创新探索的决心中国热动院副院长王志勤也提出倡议：“要加强可靠赖的AIGC控制技术框架、标准体系、评测机制等控制技术的研究和推广。
”此前，为了推动AI控制技术在影像领域的可靠化落地，在中国热动院牵头下，锦利重要信息、中国图象图形学学会、中国科学控制技术大学等机构正联合推进《文件格式影像盗用检验标准》的修编，以系统性建立影像内容安全可靠行业发展秩序，为文件格式影像内容安全可靠提供可靠保障。
▲《文件格式影像盗用检验标准》目的和内容概览（图源：锦利重要信息）
该标准将基于产业现状，围绕“细粒度”视觉差异伪造影像鉴别、聚合式影像判别、文件格式影像完整性保护等焦点议题，凝聚行业共识，以期为行业提供有效指引结语：用魔法打败魔法，用AI控制技术让影像作假无处遁形聚合式AI的爆发，让“眼见为实”成为过去时。
此前全局性裁剪、调色处理、组合式作假等影像盗用手法已经花样百出，攻防博弈持续焦灼如今AI制作照“骗”的功力越发炉火纯青，聚合虚假影像重要信息变得更廉价、更快速、更易得，仅靠专业人员来辨别既低效又不可控聚合式AI正展现出颠覆世界的强大能力，让高效图文创作、音频编辑能力变得触手可及，但这些AI能力必须可控可靠，才能更多地为人类带来福祉，发挥信息技术向善的价值。
从恶意P图勒索，到换脸音频伪装成熟人诈欺，乃至绕过身份验证盗取财产，AI盗用或聚合的影像的负面应用可能会破坏互联网秩序，危及个人财产及生命安全可靠，令企业蒙受重大经济损失，并极易引发社会信任危机多国政府及企业已经积极行动，以防范潜在的安全可靠风险。
不少政府都在加速推进AI监管的相关立法，但考虑到AI尚处于新兴发展阶段，过度“踩刹车”会在一定程度上遏制技术创新，因此不仅要从政策层面加以约束，还需充分借助先进控制技术的力量，来给聚合式AI构筑安全可靠围栏随着AI影像盗用检验、聚合式影像鉴别、OCR对抗攻击等控制技术日臻成熟并深入产业，这些控制技术将提高批量筛选影像内容风险的效率，保护更多个人及企业免受经济损失，为AI影像应用安全可靠保驾护航。
返回搜狐，查看更多责任编辑：
还木有评论哦，快来抢沙发吧~