
图 | ZAO APP(来源:网络)
近日,换脸APP“ZAO”从一夜爆火到被工信部约谈,再次折射出业界与公众在AI技术安全与伦理方面认知的巨大鸿沟,以及政府在AI技术治理方面的意识与决心。
虽然“ZAO”随后修改了此前争议巨大的用户协议,但仍被大量注销卸载,目前APP综合评分已跌至1.9分,评论内容多为对隐私泄露及安全风险的不满。有技术咖直指,这是开发方对于技术应用的伦理规范缺少敬畏,为了流量不惜牺牲用户的知情权,甚至试图将相应责任甩锅给用户的恶劣行径导致的反噬,也足以让更多技术开发者引以为戒。
当然,从技术层面来说,“ZAO”并不是AI“换脸”的首次应用。早在2017年12月,Reddit论坛的网友deepfake运用AI技术将“*”女主角的脸替换成明星盖尔·加朵(神奇女侠的主演)。此后,随着该项技术开源,应用越发广泛,前段时间一键脱衣的DeepNude更是引起了广泛关注和担忧。而在政治方面,Twitter上“奥巴马吐槽特朗普是笨蛋”的假视频引起了一系列的跟风。美国众议院6月就Deepfake技术举行了听证会,讨论了AI技术操纵舆论的潜力,如利用假视频削弱政府机构和新闻媒体的公信力,甚至会对2020年大选产生灾难性影响。此外,最近还发生了诈骗团伙利用AI合成语音技术从英国一家公司骗走22万欧元的案例。
“耳闻之不如目见之,目见之不如足践之。”随着AI技术“换脸换声“变得越发容易且可“足践之”后,我们的“耳闻”和“目见”都变得“假作真时真亦假”。技术的发展又一次呼唤伦理与安全的规范。
事实上,早在2015年,AI安全的概念就已经被学界提出。随着人工智能应用的爆发,利用AI技术漏洞进行“逃逸攻击”、“对抗样本攻击”和“数据污染攻击”的案例逐渐增多。随着AI技术的发展,随之产生的安全风险也在不断积累。尤其是人脸识别,作为AI技术应用最为广泛的场景之一,正面临着愈发严峻的挑战。人脸信息作为个人重要且敏感的信息,已经绑定了大多数人的手机解锁、支付,甚至政府类业务的一些身份验证。如发生人脸信息泄露或伪装,将对应用人脸识别技术的金融支付、公共安全等场景造成巨大威胁。

孵化自清华大学人工智能研究院的RealAI
作为最早在“AI安全”领域开展研究的团队之一,RealAI(瑞莱智慧)孵化自清华大学人工智能研究院,致力于研究和推广安全、可靠、可信的第三代人工智能,核心团队成员在清华大学就已经开展了相关的研究。
RealAI CEO田天表示,近来发生的一些新闻事件,让AI安全议题从学术圈走向了社会。目前已经有越来越多的机构开始进行相关的研究,未来AI安全会形成更大的影响力,社会各界都将意识到AI技术导致的安全问题,及其可能引发的深远后果。
据了解,RealAI在AI安全领域的布局主要在两个方面:一是防止AI算法被用于危害社会的行为,例如换脸假视频。二是检测AI算法的漏洞并加以修复,例如防止人脸识别被恶意攻破。RealAI认为,通过修复这些AI技术应用潜在的风险,可以让AI产业更加健康地发展。
“AI安全是一个持续攻防的过程,必然会呈现攻防互相促进发展的状态。有新的攻击手段出来,对应的就会有新的防御方式。首先要掌握攻击方式,才能知道如何去防御,防御的一方需要适应动态变化的攻击场景。”
对于“AI换脸”,RealAI有很强的生成技术,比如“无中生有”的AI换脸等;同时,也知道如何去检测、防御它们。从效果上来看,目前RealAI在内部测试集上换脸检测的准确率已经达到99%以上,这个测试集覆盖了市面上大多数应用换脸技术的假视频。团队现在也针对未来可能潜在的攻防场景做预演,为应对潜在的风险提前设计可行方案。

图 | 换脸检测(来源:RealAI)
在AI算法漏洞检测方面,如针对AI识别系统的“隐身”、“伪装”等场景,RealAI则更注重在真实的物理世界(不同的光线、角度、距离、运动模糊、失焦等)实现,以及更加深入地研究如何利用白盒的替代模型来攻击黑盒的受害模型。作为首个利用对抗样本攻击技术,在现实世界中破解商用手机人脸识别系统的公司(其他研究机构多停留在数字世界或公共Face ID系统层面),RealAI也能够提供相应的“防火墙”,目前其检测“人脸伪装”的算法准确率同样已经达到99%以上。

图 | 破解人脸识别(来源:RealAI)
据了解,“隐身”、“伪装”等攻击手段的实现原理是“对抗样本攻击”方法。“对抗样本攻击”的防御方法主要有图像预处理和去噪、检测对抗样本、对抗性训练等。在这个领域,且国内高校(尤其是清华人工智能研究院)很早就开展相关的技术研究,目前基本是处于领先地位。作为最早研究该技术的团队之一,RealAI针对对抗样本,使用了一些更新、更合适的方法来弥补传统的算法漏洞。
今年5月,RealAI与清华大学人工智能研究院联合发布了的人工智能安全平台——RealSafe对抗攻防平台,其支持对多种算法和模型进行对抗攻击和防御。RealSafe平台同时可以提供全面、细致的攻击防御算法的评测与比较,输出安全评测报告。
田天认为,“RealSafe平台可以作为从技术的角度提出的测试平台,它通过输出指标来说明AI算法的安全系数。通过这个平台,希望可以推动AI安全往前走一步,比如给政府部门提供参考,为政府部门制定衡量AI安全技术指标提供技术基础”。
值得一提的是,与Google、IBM旗下的安全平台相较,RealSafe平台功能更加全面,支持更为通用的模型、更丰富的对抗攻击和防御算法,具有突出的领先优势。此外,RealAI也在和部分相关企业合作定制化一些提升AI安全性的产品,比如检测虚假内容检测工具。未来终端涉及到的场景将会有各种刷脸认证场景,如火车站、机场人脸识别闸机,手机、商店刷脸支付;公共场所动态监控、安防布控等。
今年以来,多项重磅信息安全政策落地,包括等保2.0、史上最严的数据安全监管办法等。公众对于AI安全的舆论也亟待产品应用去改善。RealAI认为,AI安全是个很大的领域,不是某一个研究者或研究单位就能够将AI安全的所有问题都解决,未来需要更多人参与进来,共同推动AI安全技术的进步。但这需要大家在同一框架下去讨论、落地。因此,由政府引导,权威组织机构制定AI安全方面的行业标准势在必行。
申请创业报道,分享创业好点子。点击此处,共同探讨创业新机遇!
2025年10月25日,2025世界青年科学家峰会之人工智能(AI)融合创新发展论坛在浙江温州成功举办。本次论坛由国际院士科创中心主办,中国投资协会能源投资专业委员会、温港院士科创中心承办,中国电工技术学会、中科先进技术温州研究院与温州市电力工程学会提供支持,以“瓯江论道-AI赋能绿色发展”为主题,
个人创业需要启动成本低、无需庞大团队、可快速验证、能利用个人技能或资源。这里分享适合个人创业的十个机会一.AI内容优化与本地化服务·做什么:帮助企业或个人利用AI工具(如GPT-4,Midjourney)优化内容生产流程。例如,为跨境电商撰写多语言产品描述,为小红书博主生成爆款文案,为小公司制作营销
文/道哥美国设计软件公司Figma近期在纽约证券交易所挂牌上市,首日即上演“狂飙”行情——发行价定每股33美元,开盘报价85美元,较发行价翻倍。首日收报115.50美元,较发行价大涨约250%,市值飙升至近670亿美元,创下近30年来同等规模美股IPO的最大单日涨幅纪录。然而,随着短线资金获利了结,
文/一灯来源/节点财经在当前无人敢缺席的AI军备竞赛中,巨头们一面为巨额的资本支出焦虑,一面又向市场勾勒着未来的宏伟蓝图。在各家动辄千亿级投入的背景下,市场迫切需要一份关于AI回报价值的有力证明。而腾讯,率先给出了答卷。8月13日,腾讯控股发布2025年第二季度财报。尽管资本开支同比剧增119%,达
文/二风来源/节点财经2025年的硅谷,一场没有硝烟的战争正以前所未有的烈度上演。这场战争的核心武器不是代码或芯片,而是人——那些全球仅有数千名、能够构建未来人工智能基础模型的顶尖大脑。在这场激烈的人才争夺战中,Meta及其首席执行官马克·扎克伯格(MarkZuckerberg)正扮演着最具侵略性的
“养龙虾”到底要花多少钱?这个问题可能是大家最关心的。我们把成本拆成三部分:服务器租用费+大模型API调用费+杂项开销。第一部分:服务器租用费。最省钱的方案当然是本地旧电脑自托管——零新增成本,电费忽略不计。但如前所述,你需要接受“不是7×24小时在线”的局限性。如果选择云服务器,成本差异就很大了。
不少朋友第一次接触OpenClaw时,都会有一个相同的困惑:这玩意儿到底该装在哪里?OpenClaw(社区戏称“养龙虾”,因Logo为龙虾钳)不是普通的聊天机器人,而是一款本地优先、可自主执行、支持多Agent分工协作的AI执行网关。说白了,它让大模型从“只会说话”变成“会动手做事”——帮你管理文件
01别相信“一键养虾,躺平赚钱”的鬼话打开社交媒体,你可能会看到这样的标题:“养只龙虾自动炒股,零代码养出数字巴菲特!”信了,你就输了。真实情况是:一个做跨境电商的小哥花了200元租服务器、订阅API,指望龙虾帮他炒股暴富。结果龙虾开始几天还像模像样,后来直接摆烂,生成个干瘪的大纲就敷衍了事。AI是
一张证书引发的讨论4月7日,北京嫣然天使儿童医院给陈光标发了一张感谢证书,感谢他捐赠1000万元。这事说起来挺曲折的。此前陈光标高调说要赠给张雪一台价值1300万元的劳斯莱斯,张雪回应“收了,八折卖掉捐给嫣然”,一番拉扯之后,陈光标把车变现,1000万元直接打到了嫣然医院账上。医院发证书感谢,本来是
2026年4月7日,国家安全部就AI核心术语“词元”(Token)发布安全警示,强调在日均调用量突破140万亿规模的市场背景下,需高度警惕由此引发的数据泄露与金融诈骗风险。据统计,截至今年3月,我国日均词元调用量已超过140万亿,较2024年初增长1000多倍。词元作为大模型处理信息的最小单元,兼具
如今出门,如果你还没用过AI智能助手,可能真有点跟不上节奏了。无论是写作文、查资料,还是规划出行路线,越来越多的人已经习惯随手打开AI问一句。这股热潮背后,中国AI大模型用实打实的数据交出了一份亮眼的成绩单。根据全球知名AI模型聚合平台OpenRouter的最新数据,在3月30日至4月5日这一周,中
01别在主电脑上养!这是最最重要的一条“保命”建议。很多小白心血来潮,直接在自己存着毕业论文、工作文件、银行卡信息的主力电脑上部署OpenClaw。然后悲剧发生了:让龙虾帮忙整理一下桌面文件,结果它把整台电脑的文件全删了。这不是段子,是真事。OpenClaw一旦被授予高权限,就能执行删除、修改等不可
01免费领养,但饲料要钱很多人第一次听说OpenClaw时,脑子里冒出的第一个念头是:开源软件,那不免费吗?没错,OpenClaw本身确实是开源的,下载安装一分钱不收。但你很快就会发现,真正的开销根本不在这里。养一只“龙虾”,就像领养了一只宠物——领养免费,但“虾缸”“虾粮”“虾保姆”都得自己掏钱。
一只“龙虾”,火遍全网“今天你养龙虾了吗?”这句话在2026年初,迅速取代“吃了吗”成为社交媒体上的新晋暗号。别误会,这不是什么水产养殖新风口。这里说的“龙虾”,是一款名为OpenClaw的开源AI智能体。因为它的图标是一只红色龙虾,网友们便把部署、配置和使用它的过程,戏称为“养龙虾”。一个开源软件
凌晨两点,小王合上笔记本,揉了揉酸胀的眼睛。花了一个月写出来的10万字短剧剧本躺在硬盘里,要真正把它拍成剧,得找演员、租场地、请摄像、做后期……粗算下来少说要几十万,他只能把剧本继续锁在抽屉里。不过,现在小王的剧本可以“见光”了。2026年3月19日,字节跳动旗下的小云雀AI正式上线了短剧Agent