近日,清华大学AI研究院孵化企业RealAI(瑞莱智慧)正式推出首个针对AI在极端和对抗环境下的算法安全性检测与加固的工具平台——RealSafe人工智能安全平台。该平台内置领先的AI对抗攻防算法,提供从安全测评到防御加固整体解决方案,目前可用于发现包括人脸比对等在内的常用AI算法可能出错的极端情形,也能预防潜在的对抗攻击。
业界首个针对AI在极端和对抗环境下的算法安全性检测与加固的工具平台
“对抗样本”成新型病毒 , 算法安全问题亟待解决
随着人工智能技术的高速发展,人工智能在诸多场景正逐渐替代或协作着人类的各种劳动,它们可以成为人类的眼睛、耳朵、手臂甚至大脑。
其中,机器视觉作为AI时代的基础技术,其背后的AI算法一直是各科技巨头和创业公司共同追逐的热点。然而在机器视觉诸多主流应用场景的背后,往往也藏着由技术性缺陷导致的算法安全风险。
例如,在一些训练数据无法覆盖到的极端场景中,自动驾驶汽车的识别系统可能出现匪夷所思的决策,危害乘车人的人身安全。从2016年至今,Tesla、Uber等企业的辅助驾驶和自动驾驶系统就都曾出现过类似致人死亡的严重事故。并且这类极端情形也可能被恶意制造并利用,发动“对抗样本攻击”,去年7月,百度等研究机构就曾经通过3D技术打印出能让自动驾驶“无视”的障碍物,让车辆面临撞击风险。
而以上攻击之所以能成功,主要是机器视觉和人类视觉有着很大的差异。因此可以通过在图像、物体等输入信息上添加微小的扰动改变(即上述故意干扰的“对抗样本”),就能导致很大的算法误差。此外,随着AI的进一步发展,AI算法模型将运用金融决策、医疗诊断等关键核心场景,这类AI“漏洞”的威胁将愈发凸显出来。
近年来,包括清华大学人工智能研究院院长张钹院士、前微软全球执行副总裁沈向洋等均提倡要发展安全、可靠、可信的人工智能以及负责任的人工智能,其中AI的安全应用均是重点方向。
而且,AI安全作为新兴领域,在开源社区、工具包的加持下,对抗样本等攻击手段日益变得复杂,相关防御手段的普及和推广却难以跟上。并且对抗样本等算法漏洞检测存在较高的技术壁垒,目前市面上缺乏自动化检测工具,而大部分企业与组织不具备该领域的专业技能来妥善应对日益增长的恶意攻击。
从 安全 测评到防御 加固, RealSafe 让AI更加安全可控
就如网络安全时代,网络攻击的大规模渗透诞生出杀毒软件,RealAI团队希望通过RealSafe平台打造出人工智能时代的“杀毒软件”,帮助企业高效应对人工智能时代下算法漏洞孕育出的“新型病毒”。
目前,RealSafe平台主要支持两大功能模块:模型安全测评、防御解决方案 。
其中,模型安全评测主要为用户提供AI模型安全性评测服务。用户只需接入所需测评模型的SDK或API接口,选择平台内置或者自行上传的数据集,平台将基于多种算法生成对抗样本模拟攻击,并综合在不同算法、迭代次数、扰动量大小的攻击下模型效果的变化,给出模型安全评分及详细的测评报告(如下图)。目前已支持黑盒查询攻击方法与黑盒迁移攻击方法。
防御解决方案则是为用户提供模型安全性升级服务,目前RealSafe平台支持五种去除对抗噪声的通用防御方法,可实现对输入数据的自动去噪处理,破坏攻击者恶意添加的对抗噪声。根据上述的模型安全评测结果,用户可自行选择合适的防御方案,一键提升模型安全性。另外防御效果上,根据实测来看,部分第三方的人脸比对API通过使用RealSafe平台的防御方案加固后,安全性可提高40%以上
随着模型攻击手段在不断复杂扩张的情况下,RealSafe平台还持续提供广泛且深入的AI防御手段,帮助用户获得实时且自动化的漏洞检测和修复能力。
准确度99.99%也难逃被 “ 恶意 干扰” ,RealSafe高效 应对算法威胁
考虑到公众对于对抗样本这一概念可能比较模糊,RealSafe平台特意选取了公众最为熟知的人脸比对场景(人脸比对被广泛用于金融远程开户、刷脸支付、酒店入住登记等场景的身份认证环节)提供在线体验。
并且,为了深入研究“对抗样本”对人脸比对系统识别效果的影响,RealAI 团队基于此功能在国内外主流 AI 平台的演示服务中进行了测试。
实测证明,“对抗样本”可以极大的干扰人脸比对系统的识别结果,而测试的这几家互联网公司平台开放的人脸比对API或SDK,几乎覆盖了目前市面上很多中小型企业在落地人脸识别应用时的选择,如果他们的人脸比对技术存在明显的安全漏洞,意味着更广泛的应用场景将存在安全隐患。
因此,为了帮助更大范围内的企业高效应对算法威胁,RealSafe平台具备以下两大优势:
· 组件化、零编码的在线测评: 相较于ART、Foolbox等开源工具需要自行部署、编写代码,RealSafe平台采用组件化、零编码的功能设置,免去了重复造轮子的精力与时间消耗,用户只需提供相应的数据即可在线完成评估,学习成本低,无需拥有专业算法能力也可以上手操作。
·可视化、可量化的评测结果: 为了帮助用户提高对模型安全性的概念,RealSafe平台采用可量化的形式对安全评测结果进行展示,根据模型在对抗样本攻击下的表现进行评分,评分越高则模型安全性越高。此外,RealSafe平台提供安全性变化展示,经过防御处理后的安全评分变化以及模型效果变化一目了然。
从数字世界到物理世界 RealAI 落地更多安全周边产品
随着机器学习模型不断的升级演化,“对抗样本”已经演变成一种新型攻击手段,并且逐渐从数字世界蔓延到物理世界:在路面上粘贴对抗样本贴纸模仿合并条带误导自动驾驶汽车拐进逆行车道、胸前张贴一张对抗样本贴纸在监控设备下实现隐身……
因此,除了针对数字世界的算法模型推出安全评测平台,RealAI团队也联合清华大学AI研究院围绕多年来积累的领先世界的研究成果落地了一系列AI攻防安全产品,为更多场景保驾护航。
比如通过佩戴带有对抗样本图案的“眼镜”,黑客可以轻易破解商用手机的面部解锁,通过在胸前张贴特制花纹实现在AI监控下的“隐身”,以及通过在车辆上涂装特殊花纹躲避AI对车辆的检测。发现类似新型漏洞的同时,RealAI也推出相应的防御技术,支持对主流AI算法中的安全漏洞进行检测,并提供AI安全防火墙对攻击AI模型的行为进行有效拦截。
人工智能的大潮滚滚而来,随之而来的安全风险也将越来越多样化,尤其近年来因AI技术不成熟导致的侵害风险也频频发生,可以说,算法漏洞已逐渐成为继网络安全、数据安全后又一大安全难题。
所幸的是,以RealAI为代表的这些顶尖AI团队早已开始了AI安全领域的征程,并开始以标准化的产品助力行业降低应对安全风险的门槛与成本。此次上线RealSafe人工智能安全平台是RealAI的一小步尝试,但对于整个行业而言,这将是人工智能产业迈向健康可控发展之路的一大步。
申请创业报道,分享创业好点子。点击此处,共同探讨创业新机遇!
本月,动点科技旗下TechNodeGlobal首届覆盖东亚和东南亚创新生态的ORIGIN创新大奖揭晓了最终的获奖名单。来自亚太地区18个国家和地区的近400个公司和个人参与了评选。
当AI遇上密码学,将会才出怎样的火花呢?11月下旬,第10届DevFest上海谷歌开发者节如期举行,矩阵元算法科学家谢翔博士应邀出席活动并发表题为《Rosetta:当AI遇见密码学》的主题讲座
11月26日,在2020世界智能制造大会·智能制造科技进展交流论坛上,中国科协智能制造学会联合体、智能制造系统解决方案供应商联盟联合评选出了“2020世界智能制造十大科技进展”。
日前在与马克·雷波特的对话中,其创始人周曦明确表示,云从科技已经不再将目光局限于大数据和深度学习,而是将关注点落在人机协同上。
我们的日常生活在2020年受到l了打扰,面对面的社会服务行业也因此遇到了很大的影响,一些产业的被迫停业才让我们真正地察觉信息技术产业发展的重要性。被誉为香港资讯科技业界奥斯卡的“香港资讯及通讯科技奖”
2021年1月14日,AR公司亮风台与华为公司在深圳华为全球总部签署重要合作协议,双方将在全球范围内基于华为云在云计算、大数据、人工智能、5G等方面的技术优势
作为第四次工业革命的重要推动力,人工智能产业将打开新一轮城市与区域竞争变局,其发展受到各城市的高度重视。艾瑞咨询《2020年中国人工智能产业研究报告》(以下简称《报告》)指
简单来看,目前AI+医疗领域热门应用无一不需要用到AI算法,如临床辅助决策系统、疾病风险评估所需要的逻辑回归;识别成像生物标志物、医疗影像分析所需要的支持向量机;图像分析、药物开发所需要的神经网络等等,都是基础的支持。
2020年11月24日,两位普渡机器人“贝拉”入编北京大学和园餐厅,TA俩有着亲切而可爱的名字:“和宝”、“园宝”。如今,经历过近3个月的优异表现,TA俩已成功“转正”,成为师生和员工的朋友,广受大家喜爱。
过去几十年中,无数爱国学者试图推翻这一问题,不惜在浩瀚史料中寻找中国近代创新的蛛丝马迹。走过2020年,我们对“李约瑟之问”俨然有了笃定的答案,因为科技创新从未像今天这样深刻影响国家的前途命运,也从未像今天这样左右一家企业的前景乃至一位普通人的人生际遇。
近期搜狗分身技术宣布全新升级到"第七代",搜狗自研的StyleTTS端到端多模态合成系统,在实现数字人生成品质显著提升的同时,能够更好对数字人的声音、动作、表达风格乃至于微表情等实现更精细准确的生成与控制。与此同时,迁移学习和无监督表征学习的技术突破。
随着5G与视频社会化时代的到来,手机影像性能成为了消费者的关注焦点。艾瑞咨询《2020中国人工智能手机白皮书》(以下简称《白皮书》)显示,2019年中国消费者最关注的手机要素是“拍摄”
对于初入职场的人来说,无论是会议记录还是日常工作安排,每一项任务都是一道坎。想要快速融入职场竞争,除了平时积累经验之外,实时更新自己的办公工具也是非常有必要的
寒冬的冷风挡不住公益的热情,1月8日下午,安徽淘云科技有限公司(以下简称:淘云科技)带上科技与情谊,走进合肥市琥珀小学,为该校师生捐赠了一批淘云科技旗下的明星产品——阿尔法蛋词典笔