1. 创业头条
  2. 前沿领域
  3. 人工智能
  4. 正文

搜狗-清华天工研究院提出ChoreoNet模型:让数字人闻声起舞

 2020-08-22 08:42  来源:A5专栏  我来投稿 撤稿纠错

  【推荐】海外独服/站群服务器/高防

近日,搜狗分身技术团队联合清华大学天工智能计算研究院贾珈老师团队共同发表的数字人技术论文《ChoreoNet:基于舞蹈动作单元的音乐-舞蹈合成框架》被2020国际顶级盛会ACM Multimedia录用为长文。

(截图来源:ACM Multimedia官网https://2020.acmmm.org)

ACM Multimedia专注于推进多种媒体的研究与应用,涉及人工智能、计算视觉、数据科学、深度学习、人机交互等多个新兴领域,是中国计算机学会推荐的多媒体领域唯一A类国际学术会议,被认为是多媒体技术领域奥运级别的盛会。虽然鼓励来自全球的各类机构分享、交流最新研究成果,但该会议论文接受率很低,只有对日常生活和技术突破具有巨大影响潜力的研究项目才会被通过。

“攻克难关”备受认可

音乐和舞蹈是与人们生活密不可分且高度相关的两种艺术形式,近年来,“乐舞合成”也是业内高度关注的领域。不过,早期合成基于相似度检索进行,合成结果的多样性有限,而目前通行的方法是利用神经网络模型,将音乐特征映射到人体骨骼关键点,但由于人类骨架关键点的高度冗余和带噪特性,逐帧关键点预测非常困难,导致合成质量有限,成为困扰业内人士的一大“难关”。

搜狗分身技术团队与清华天工研究院贾珈老师团队在论文中提出了一个极具创造性的解决方案,该方案将人类编舞知识融合到乐舞合成框架中,设计多个舞蹈单元(CAU),并使用CAU序列预测模型,开发了一个像人类一样根据音乐编排舞蹈动作的舞蹈合成框架——ChoreoNet。通过实验验证和数据对比,相较于基线法,ChoreoNet性能更好,合成动作也更加自然逼真,无论是音乐匹配度、动作自然度还是其他方面,表现都更加优秀。

(截图来源:ChoreoNet论文)

此次,该论文被ACM Multimedia认可并录取为长文,不仅代表了搜狗AI分身技术在身体动作及姿态生成方面的突破,也从侧面印证了搜狗强大的AI技术实力和能够实现持续输出的创新能力。值得注意的是,搜狗是在业内率先选择通过音频来驱动身体动作作为研究课题的先行者。

“死磕技术”引领方向

在搜狗的AI战略版图中,“自然交互+知识计算”是核心方向,技术研究和推动技术向产品的快速转化均以此为基础和方向,而搜狗“分身”是其中关键和重要一环。

在2018年发布全球首个AI合成主播之后,搜狗分身持续研究并打造更加逼真自然的数字人能力,在2D/3D数字人领域构建了音画同步、逼真的面部表情唇动生成及驱动能力。此外,如何能够让数字人更加自然并且富有表现力也是搜狗分身的重点研究方向,其中身体动作以及姿态的表达至关重要。搜狗在首代AI合成主播问世后不到3个月的时间,便成功推出与“坐播”截然不同的“站播”合成主播,今年5月推出的3D AI合成主播不止面部细节经得起高清镜头考验,更是实现了自如行走。本次与清华大学天工智能计算研究院的工作选择了音乐场景,重点研究如何提升身体动作生成及驱动的表现力和自然度,为AI数字人的技术探索开启了新方向。

“未来应用”前景广阔

人工智能是未来科技的风向标,而5G时代的到来又大大加速了这一进程。自2018年搜狗推出全球首个AI合成主播之后,能够与普通人的生活深度交融并广泛运用于各行各业的“AI分身”便深受关注,不少科技企业躬身入局。

从上文可以看出,搜狗从未停下突破的步伐,从2D到3D、“坐播”到“站播”、从支持单一语种到支持多语种、再到支持互动。目前搜狗分身技术已经在司法、传媒、会展、艺术、金融客服等多个场地落地,为新华社、央视、平安惠普、北京互联网法院等打造了多个AI合成主播、AI合成客服、AI虚拟法官等,也创造了雅妮、新小微、新小浩、新小萌等多个经典AI数字人形象。

由音频驱动的数字人或数字舞蹈演员,拥有巨大的想象空间和市场化应用前景。特别是与搜狗现有3D数字人的技术相结合后,使用场景可以从目前集中的传媒、金融、法律等领域向影视、娱乐领域进军,搅动万亿规模的市场。

AI为人赋能,这是搜狗人工智能的发展理念,也是搜狗分身技术的愿景。作为一项既能解决行业痛点,又能为用户创造价值,既能给社会带来变革、又能对科技产生影响,同时还能持续突破和进步的前沿技术,搜狗分身的未来,无疑具备更多的可能性、极大的想象空间。

申请创业报道,分享创业好点子。点击此处,共同探讨创业新机遇!

相关标签
人工智能
ai技术

相关文章

  • IoT开发者为王,涂鸦智能硬核“靠边站”

    IoT盛宴:涂鸦向下,产品向上

    标签:
    人工智能
  • IPO观察丨黑芝麻智能递表港交所,车芯行业已迈向量产决战期?

    虽然我国汽车芯片行业还处在发展初期,但已经迸发出无限潜力。一方面,智能汽车的发展不断带动需求增长;另一方面,政策引导下,汽车芯片企业持续抢占高地。对此,在7月5日-7日举办的2023年中国汽车论坛上,中国汽车工业协会副秘书长李邵华就做出表示,“中国将成为未来汽车芯片发展的集聚地”。车规芯片行业近日的

    标签:
    人工智能
  • 汇聚中国AI顶尖力量 云天励飞参与华为AI大模型联合创新

    2023年7月6日,第六届世界人工智能大会(WAIC2023)在上海开幕,“人工智能大模型”是本届大会的备受瞩目的话题,据悉,在昇腾AI大模型的创新研发中,华为联手26家行业领军企业,组建了一支协同创新的“AI明星队”,云天励飞作为中国人工智能企业的杰出代表,和互联网大厂、运营商、科研院所等优秀团队

    标签:
    ai技术
  • 用友大易:迈入AI招聘2.0时代,让人力资源回归本质

    这几个月来,以ChatGPT为代表的生成式AI展现出的能力令世界惊叹。自从2016年AlphaGo战胜李世石掀起了一波AI浪潮后,AI仿佛已经沉寂了很久,ChatGPT的横空出世就如同一束耀眼的光芒,让AI这个名词重回C位。过去在AI1.0时代,主要通过训练模型来实现图像识别、声音识别、语言处理等特

    标签:
    ai技术
  • 新发布的PaaS2.0,能否助力涂鸦智能再起飞?

    文:互联网江湖作者:志刚2023年的IoT需要一个新故事。6月29日,涂鸦智能在开发者大会上,发布了企业级战略PaaS2.0,希望通过一个平台+四大开发服务,建立起IoT生态。对于这场发布会,市场的态度是积极的。美东时间6月29日收盘,涂鸦智能美股股价上涨5.6%,来到1.87美元/股。近日股价稳定

    标签:
    ai技术
  • 为何海尔智家能够做到“换新不厌旧”?

    在繁忙的城市角落,张先生的小公寓里藏着一个宝贝——一台20年前的海尔老式彩电。这台电视见证了他的拼搏、快乐和岁月的流转。虽然他对新科技并不感冒,但他的儿子小张对此却充满了好奇和热情。小张在线上看到以旧换新活动的同时,说服了张先生,并在手机上下单预约上门服务。没多久,服务人员便上门拆走旧家电,安装调试

    标签:
    海尔智家
  • 也谈谈AI洗稿

    前几天腾讯发了个公告称:平台巡查发现有些MCN和作者发布大量“AI洗稿”内容。并宣称要对“AI洗稿”行为进行打击,同时鼓励合理运用AI技术。其实我是想借此机会,给大家说说“AI洗稿”这件事,隐秘在黑暗角落里的赚钱行为。“洗稿”就是把别人的文章用AI工具修改润色一下或调整段落,然后再发到自媒体平台上,

    标签:
    ai智能
  • 竞逐智能家居大模型:美的“蓄力”,海尔“疾行”

    随着ChatGPT火热出圈,AI大模型便成为了各行各业必争的高地。

    标签:
    智能家居
  • 李彦宏新目标,押注AI原生应用

    文/道哥“未来,自然语言将成为新的通用编程语言。你只要会说话,就可以成为一名开发者,用自己的创造力改变世界。”4月16日,百度创始人、董事长兼首席执行官李彦宏在Create2024百度AI开发者大会上表述了对未来AI人工智能发展的新一轮展望。自OpenAI发布ChatGPT大模型后,这股AI人工智能

    标签:
    李彦宏
  • AI算力竞赛加速散热技术变革,液冷方案获行业青睐

    进入AIGC时代,智算中心规模日渐庞大,服务器能耗与日俱增。如何降低智算中心能耗已成为国家和地方政府关注的焦点。工信部数据显示,2022年全国数据中心总耗电量约2700亿千瓦时。当前,大部分数据中心仍主要采用风冷散热技术,在单柜密度、PUE值方面已愈发难以满足行业发展及绿色节能方面的要求,而冷板式液

  • 中国AIGC最值得关注企业&产品榜单揭晓!首份应用全景图谱发布

    “你好,新应用!”站在大模型落地元年,是时候喊出这句话了。从软件APP、智能终端乃至具身智能等等,AIGC开始席卷一切。大模型玩家、互联网巨头、终端厂商、垂直场景玩家纷纷入场,办公、创作、营销、教育、医疗领域相继被渗透……一个万亿市场,正在酝酿。站在浪潮起点,当下发展究竟如何了?机遇在哪?挑战如何?

  • 标准引领促转型 提升新质生产力——2024数字教育标准创新应用研讨会召开

    4月14日,以“标准引领促转型,提升新质生产力”为主题,由全国信息技术标准化技术委员会教育技术分技术委员会主办,锐捷网络承办的2024数字教育标准创新应用研讨会暨《高等学校数字校园建设规范(试行)》(以下简称《规范》)优秀及典型应用案例的颁奖活动在福州举办。本次会议聚焦赋能新质生产力和高校教育数字化

  • 两座超大城市对“视”联手 杭深奏响智能物联产业合鸣!

    春至岭南花似锦,出门俱是看花人。4月16日,2024“中国视谷”城市(深圳)推介会暨智能物联产业合作发展论坛在深圳举行。一场广聚全球英才的产业思想盛宴就像早春的花潮,召示着智能物联产业合作发展的丰硕成果正在孕育、成长。站在时代的风口和机遇中瞭望,智能物联产业是人工智能和物联网融合与应用的战略性新兴产

  • AI提高效率:用智谱清言打造爆款视频号

    关注卢松松,会经常给你分享一些我的经验和观点。(1)想做副业、短视频的同学,看完本文一定对你有所帮助!(2)很多人说2024是视频号红利的一年,有分成收益,广告主也多,流量大。(3)松松一共做了10多个视频号,在视频号布局3年了,几乎啥都做过,有的收益千八百、有的收益1-2k,有的收益3-5k。(4

    标签:
    ai技术
  • CPU上跑AI?从推荐系统的演进看CPU的崛起

    在信息和数据极度繁荣的当下,人工智能正在通过各种方式影响着人类生活。其中,AI推荐系统作为互联网时代最关键的伴生技术之一,正在帮助人类梳理着各种纷繁杂乱的信息,让资源实现更精准的调配,让一切变得井然有序。推荐系统:数字营销的重要引擎当你到一座旅游城市,不知道当地有什么美食时,AI推荐系统在手机上的本

编辑推荐