当前位置:首页 >  系统 >  正文

搜狗搜索助力世界最快计算机 推出超算图计算系统

 2018-04-03 11:34  来源: 互联网   我来投稿   A5初浅的个人主页 撤稿纠错

  短视频,自媒体,达人种草一站服务

2018年3月,搜狗搜索联合清华大学计算机系、国家超级计算无锡中心、数学工程与先进计算国家重点实验室、卡塔尔计算研究所、国家并行计算机工程技术研究中心等国家级科研单位,共同研发推出了世界上首个基于超级计算机的超大规模图计算系统——神图。神图系统大幅提升了图计算系统所能够支持的最大数据量和计算复杂度,这标志着超大规模图数据的计算能力实现了巨大的飞跃,同时,也为搜索领域的用户体验开创了新的篇章。

神图系统的运行环境是神威·太湖之光国产超级计算机,2016年6月至今,神威·太湖之光已连续4次获得世界高性能计算机排行榜第一名,是目前世界上最快的计算机。基于神威·太湖之光超级计算机的先进架构,神图攻克了大规模图计算系统面临的多项核心技术难题,针对超级计算机的运行特点进行了深度优化,充分挖掘了神威·太湖之光的超宽并行架构的计算能力,将真实任务的应用性能提升了两个数量级。

搜狗搜索始终着力于对前沿技术成果的推动、创新,致力于为用户带来便捷、丰富的个性化搜索体验,满足用户的多元化搜索需求。搜狗搜索智能的用户分析系统为神图系统的研发提供了不可或缺的、全方位多角度的用户实用场景。

过去,超级计算机主要用于科学与工程计算,还比较缺乏面向超大规模数据分析的非数值计算应用。图(Graph)能够表达丰富关联的关系,是搜索和人工智能领域中常用的数据结构之一。基于图的数据挖掘算法已经广泛应用于搜索系统的网页链接关系分析、文档主题建模、用户点击行为分析、实体与关系挖掘、搜索意图理解等任务中。互联网应用的数据规模和用户使用频度均在持续快速增长,这对图计算系统的横向扩展能力提出了全新挑战。现有分布式图计算系统普遍采用按点划分或按边划分的分布计算模式,但由于互联网环境下数据分布遵从幂律分布,顶点度数存在极大的不平衡性,两种方式都面临严重的性能问题。超级计算机先进的体系架构和超高的计算能力为超大规模图计算任务既带来了机遇,也提出了挑战。

从2017年开始,搜狗搜索联合清华大学计算机系等单位,共同研发了面向超大规模图计算的神图系统。研发团队通过深入分析神威·太湖之光的系统大容量的内存、领先的通信能力、以及大容量且能快速访问的外存系统的优势,并同时充分结合超大规模图算法的实际需要,创新性地提出分化的消息传播技术、基于分组的消息分发技术、无锁数据分发技术、基于内存检查点的高可用系统等多项新技术,成功研发出可支持BFS/WCC/PageRank等核心图计算算法的神图系统,计算规模可以扩展到神威·太湖之光全部4万个节点。在实际应用中,神图能够充分利用上千万核的运算能力和各节点之间通信网络,在12万亿条边的真实中文网页图上完成PageRank算法的一轮计算迭代仅需21秒,与文献中报道的业界最先进水平系统相比,(如微软的GraM系统处理1.2万亿条边的合成图每轮PageRank迭代需要140秒),所处理图数据规模增加了一个数量级,计算耗时反而缩短了一个数量级,综合性能提升超过百倍,实现了图计算节点规模、图数据规模以及运行速度上的巨大突破。

神图系统的研发成功,在扩展了国产超级计算机在大数据分析领域的应用能力的同时,提供了更加迅捷的实验、优化超大规模图算法的运算环境。神图系统更加强大的计算能力给人工智能等相关领域提供了更广阔的探索空间。

搜狗搜索研发团队已经将神图系统集成、渗透到搜索大数据平台中,新系统将为搜狗搜索持续优化提供强有力的技术支撑和系统保障,为用户实现更精准便捷的搜索体验。同时,搜狗搜索作为人工智能领域的领跑者,将继续致力于推进国产超级计算机和国产处理器产业,加速扭转我国计算机领域核心技术和信息安全上受制于人的局面。

申请创业报道,分享创业好点子。点击此处,共同探讨创业新机遇!

相关文章

  • 搜狗AI技术再迎突破,全球首个3D AI合成主播发布

    5月21日,在全国瞩目的两会召开之际,搜狗联合新华社推出的全球首个3DAI合成主播“新小微”正式亮相,为全国观众带来最新的两会新闻资讯报道。基于搜狗人工智能核心技术“搜狗分身”打造的“新小微”,将拉开中国传媒行业全面进入智慧时代的序幕。

  • 搜狗财报:Q1亏损扩大、AI打响突围

    当前除在智能硬件领域布局,搜狗还成立人工智能研究院,主攻未来智慧互联网方向。搜狗CEO王小川表示,今年下半年,搜狗会发布一款AI产品。预计今年的硬件收入占总收入的比例增高,明年会实现盈利。

    标签:
    搜狗
  • 营收17.9亿元增长5%背后:搜狗的三大支撑与长远价值

    要知道,受新冠疫情的冲击,开年至今全球经济都处于剧烈震荡的状态。按照摩根士丹利首席经济学家谢坦·艾哈(ChetanAhya)的预测,2020年第一季度全球经济会出现-0.3%的负增长,直到第三季度才能转正。衰退是所有人都要面对的困境。

  • 搜狗公布2020年Q1财报:用户规模创新高,AI赋能显效果

    5月18日,搜狗公司公布了2020年第一季度未经审计财务报告。尽管宏观和广告行业大环境受疫情冲击,搜狗整体业务仍平稳运营,在非美国通用会计准则下,搜狗公司第一季度营业收入为17.9亿元,同比增长5%。得益于疫情中用户对信息和效率需求的激增,核心产品搜索和输入法相关指标屡创新高。

  • 搜狗搜索PC端市场占比大幅提升

    尤其值得注意是在2019年10月、11月和2020年1月、2月,四次超过百度,作为国内搜索引擎市场老二,19年搜狗搜索业务相关收入达18.8亿元,同比增长9%,相比其他家搜索引擎发展很稳定。

    标签:
    搜狗搜索
  • 网站建设中超过58%的网站使用Cms内容管理系统

    根据阿里云服务器最新安装统计,cms还是目前最主流的网站建设方式,那么到底大家都在用什么cms呢?从所有安装的网站中发现,使用cms内容管理系统的比例高达58.1%,其中超过30.1%的内容管理系统网站选择使用PageAdmin。

    标签:
    cms系统
  • 好系统更懂你,四种模式看ColorOS 7

    随着手机硬件趋于同质化,手机系统对于一款手机体验的好坏也越来越重要,一款系统不仅要好看,也更要好用。11月20日ColorOS7正式发布,全新升级的暗色模式、睡眠模式、驾驶模式、专注模式让

  • 性能快一倍! 龙芯电脑流畅体验UOS操作系统

    UOS由多家操作系统核心企业共同开发,采用开源共创社区研发模式,鼓励上下游产业链厂商和技术人员参与研发工作贡献代码,共同打造符合行业用户需求的美观易用、极致体验的操作系统产品。

    标签:
    操作系统
  • Smartisan OS 7.1.5上线 坚果 Pro 3 全面解锁听觉无障碍模式

    12月13日,由字节跳动旗下新石实验室打造的坚果Pro3迎来了版本号为SmartisanOS7.1.5的更新推送。更新内容显示,本次更新主要围绕“听觉无障碍”展开,新增“实时字幕功能”,“双击快捷键启动实时字幕悬浮窗”,“支持在听觉无障碍模式内使用快捷短语”,新增“‘实时字幕’功能支持男/女声切换”

    标签:
    锤子手机

热门排行

信息推荐

扫一扫关注最新创业资讯