近日,昇思MindSpore正式通过SGS Brightsight实验室的安全评估,获得了AI框架领域的首份CC EAL2+证书。
作为全球最大的独立认证机构,SGS Brightsight可以说是全球为数不多被广泛认可的安全实验室。同时CC认证也是目前全球认可度和权威性最高的IT产品安全认证,主要用于评估产品的安全性、可靠性以及对信息隐私的保护。
在过去很长一段时间里,AI框架和CC认证很少被同时提及,其中的原因离不开AI框架的开源属性,加上人工智能的产业应用才刚刚起步,业界的焦点常常是准确性和易用性,安全性的课题被选择性忽略。可为何昇思MindSpore主动送测SGS Brightsight实验室,并深度参与了人工智能框架安全目标的制定?
隐藏在首份CC EAL2+证书背后的,其实是人工智能的新潮向。
01 AI框架的险滩和暗礁
经历了Theano、Caffe等早期框架的探路,TensorFlow和PyTorch在全球范围内的风靡,再到飞桨、昇思MindSpore等国产框架的崛起,AI框架在第三次人工智能浪潮中扮演的角色早已深入人心。
比如“操作系统”的比喻,AI框架在技术体系中有着承上启下的作用,向下调用底层的计算资源,向上承接算法模型的搭建,开发者无需关注底层的逻辑和细节,可以直接在框架下构建或调用算法模型并进行训练部署,极大地提高了开发效率。
如果说AI框架撬动了人工智能产业化的“大航海”,看似平静的水面下却有着不可小觑的安全盲点。
一种是容易被察觉的“险滩”,典型的例子就是框架及其模型库中的安全漏洞。根据开源软件社区GitHub公布的数据,TensorFlow自2020年以来被曝出的安全漏洞已经有百余个;国内的360团队曾对市场上的主流AI框架进行安全性评测,发现了150多个漏洞;腾讯安全团队公开了TensorFlow组件中存在的重大漏洞,如果开发者编写机器人程序时使用了该组件,黑客可通过漏洞控制机器人……
另一种是难以洞察的“暗礁”,譬如普遍存在的算法黑箱、数据泄露等问题。由于算法模型和复杂性和不确定性,人们无法直观解释结果背后的原因,一旦训练数据中存在偏见,可能会直接影响训练结果。甚至有一些开发者利用算法模型的复杂性,人为植入了一些隐蔽的“后门”,可以在近乎无感的情况下进行攻击,或是窃取开发者上传的敏感数据,或是利用对抗样本等方式干扰模型的判断结果。
当人工智能的应用进入到深水区,落地场景逐渐呈现出指数级增长的态势,对应的安全风险也将被指数级放大。特别是AI框架已经被越来越多企业和开发者依赖,倘若不能扎紧安全口袋,代价可能是雪崩级的灾难。
传统的安全保障像是塔防游戏,黑客寻找攻击的缺口,开发者则努力堵住每一个漏洞,但在人工智能的语境里,假如黑客选择AI框架或者算法模型为攻击点,相当于在城内“空投”了一个个木马,直接破防层层安全机制,以一种悄无声息的方式进行系统级攻击,产生无法估量的损失。
这大抵就是昇思MindSpore深耕安全的原因,人工智能产业想要行稳致远,势必要在源头上消除任何可能的安全风险。
02 昇思MindSpore的解法
某种程度上说,人工智能的安全焦虑并不是什么新话题。早在2017年就出现了可信人工智能的概念,2020年相关论文的研究数量已经有上千篇,一些科技大厂也推出了验证算法模型安全性的工具包。
可大多数讨论仅仅局限在“讨论”的范畴,缺少系统性的方法指引,也未能形成约束性的落地机制。个别公司或开发者开源的工具包,多半是“打补丁式”的解决思路,所能解决的问题比较单一,缺少体系化的方法论和行之有效的策略。
深谙其中症结的昇思MindSpore团队,俨然意识到了AI框架的特殊性,进而围绕AI生命周期构建了一系列的技术能力:
针对算法模型的潜在风险,昇思MindSpore引入了鲁棒性评测、对抗测评、对抗训练、模型加密等技术,帮助客户提升模型的安全性。
比如一些自研或者开源的第三方模型缺少鲁棒性评测,昇思MindSpore给出了基于黑白盒对抗样本、自然扰动等技术的评测方案,帮助客户识别模型的脆弱点,并通过对抗样本检测、数据增强训练等提升鲁棒性;再比如为了防止模型在部署时被窃取,昇思MindSpore提供了模型混淆和元数据加密的轻量级方案,保障模型安全的同时在效率上比全量加密有着10+倍的提升。
针对数据泄露的行业顽疾,昇思MindSpore构建了隐私评估、差分隐私训练、联邦学习在内的数据隐私保障机制。
以争议性最大的个人隐私保护为例,区别于上云集中式训练的做法,昇思MindSpore基于安全多方计算、差分隐私等技术,解决了联邦学习中的隐私泄露问题。同时考虑到一些图像数据中存在涉及用户隐私的敏感数据,昇思MindSpore集成了隐私内容检测、隐私知识构建、隐私消除等一整套能力,可以自动对敏感信息进行消除、填充、替换等处理,确保用户隐私不被泄露。
针对AI可解释性的质疑,昇思MindSpore的答案是通过原创语义级可解释技术、可解释方法工具集等对症下药。
这也是人工智能频频被挑战的诱因所在,毕竟现阶段模型训练的过程往往不可见、模型推理的结果难以解释,再加上数据分布不均匀、多样性不足等问题,导致模型的决策结果可能出现偏差或倾向性。昇思MindSpore正在通过数据清洗、模型容错性评估、提供模型决策的解释等提升数据的公平性、模型的可解释性,继而让用户更理解、信任并有效地使用模型。
也就是说,相较于从伦理层面呼吁人工智能的道德准则,昇思MindSpore已经在框架层面打造了覆盖模型训练、评估、部署的全流程安全可信,为企业和行业提供了源头可信的系统性方案。
03 推开可信AI的大门
有理由相信,SGS Brightsight实验室对昇思MindSpore进行安全评估时,除了框架本身的安全性,昇思MindSpore在模型安全、隐私保护、可解释性方面的工作,同样在评估标准中占了相当大的比重。
站在行业的立场上,全球首份人工智能框架的CC EAL2+证书,所承载的价值不单单是填补了市场空白,还为人工智能框架的安全可信提供了重要参照与标准,有望为整个人工智能产业的可信化进程按下加速键。
即使从2015年AlphaGo和李世石的围棋大战算起,人工智能的产业化也不过才七个年头,可一场信任危机却在蔓延中。
无论是特斯拉等多次上演的自动驾驶事故、部分电商平台的大数据杀熟现象、资讯平台算法推荐的内容同质化风波,还是“外卖小哥困在系统里”的现象级报道、围绕个性化推荐权利的社会性讨论,都预示着公众对于人工智能的态度正在从乐观好奇趋于谨慎质疑,不无制约人工智能产业化渗透的可能。
就昇思MindSpore在安全方面的努力来看,人工智能的信任危机并非无可挽回。直接的例子就是算法推荐,在外界对算法偏见问题群情激奋时,某银行在昇思MindSpore上巧妙规避了潜在风险,通过基于LIME的推荐解释解决了有无解释的问题,利用基于KG的原创可解释推荐网络TB-Net获得了语义级解释能力,既解决了理财推荐结果难解释的困局,又提升了推荐效率和转化成功率。
值得一提的是,不只是SGS Brightsight实验室的CC认证,昇思MindSpore还通过了云计算开源产业联盟的评估,融合国内首批《可信开源社区评估体系》认证,并且支撑华为云的OCR服务通过了独立机构BSI的AI C4审计认证……可信人工智能正在逐步成为整个行业的理性共识。
再来思考昇思MindSpore获得全球首个CC EAL2+证书的时代意义,正在从根源上制约人工智能应用的弊端,为企业打通了强化隐私保护、稳定性、可解释性、公平性的路径,有力地推开了可信AI的大门。
申请创业报道,分享创业好点子。点击此处,共同探讨创业新机遇!
概括:自2015年AppleWatch以来,Apple一直没有发布新的主要产品。AppleCar和AR/VR耳机备受期待,但很难说这些产品能够显著改变苹果的收入组合。预计未来四个财年的收入增长将达到中个位数,这并不能证明其目前的溢价估值是合理的
智能门锁到底是不是一门好生意?一方面,舆论鼓吹“百亿市场”潜力巨大,外加资本青睐不断加码;另一方面,经销商大呼不好卖,产品销量终归“雷声大雨点小”。
如今,智能货柜越来越普遍了。尤其是在疫情期间,以无人店、智能货柜为代表的服务业数智化趋势不可挡。众多生活服务场景线上化、无接触式购物,为智慧零售带来新机遇。以RFID、重力和视觉识别为核心技术的智能货柜深入到更多人的生活中
布局智能家居行业以来,萤石网络一直推陈出新,不断带给消费者更多智能家居选择的可能性。不久前,萤石最新推出的北斗星智能视频锁DL30V引发了消费者关注,在硬核科技的支持下,为家庭提供更高的安全保障。
Johnny’s?全称Johnny’sRestaurant,是覆盖马来西亚的泰式连锁火锅店。自从1997年1月31日Johnny's第一家门店开业,至今已营业长达25年,目前在马来西亚总共有48家分店。Johnny's不仅供应新鲜美味的餐品,还为不计其数的顾客提供宾至如归的服务
近日,昆仑芯科技签署了CLA(ContributorLicenseAgreement,贡献者许可协议),正式加入龙蜥社区(OpenAnolis)。
随着虚拟现实技术的不断发展,VR硬件与VR游戏给人带来的沉浸感也越来越强。特别是FPS射击类游戏,更加拟真的射击体验和环境交互,简直令每一个怀有英雄梦的玩家欲罢不能。
WAVESUMMIT2022深度学习开发者峰会上周圆满落幕,来自产学研界的专家学者和资深AI工程师在七大平行论坛带来了精彩的技术分享。本次峰会专设【智能硬核生态共创】平行论坛,昆仑芯科技生物计算研发总监郑焕鑫受邀参会,并进行“昆仑芯×飞桨:共创智能计算‘芯’生态”的主题演讲。
大朋VR这一次新品,真的不一样!从官方发布“踏春而来”的惊喜海报,大家就猜测纷纷,已经陪着玩家走过7年的大朋VR,会带着怎样的诚意,将今年的首款新品推向C端市场?