1. 创业头条
  2. 前沿领域
  3. AI智能
  4. 正文

搜狗-清华天工研究院提出ChoreoNet模型:让数字人闻声起舞

 2020-08-22 08:42  来源:A5专栏  我来投稿 撤稿纠错

  一键部署OpenClaw

近日,搜狗分身技术团队联合清华大学天工智能计算研究院贾珈老师团队共同发表的数字人技术论文《ChoreoNet:基于舞蹈动作单元的音乐-舞蹈合成框架》被2020国际顶级盛会ACM Multimedia录用为长文。

(截图来源:ACM Multimedia官网https://2020.acmmm.org)

ACM Multimedia专注于推进多种媒体的研究与应用,涉及人工智能、计算视觉、数据科学、深度学习、人机交互等多个新兴领域,是中国计算机学会推荐的多媒体领域唯一A类国际学术会议,被认为是多媒体技术领域奥运级别的盛会。虽然鼓励来自全球的各类机构分享、交流最新研究成果,但该会议论文接受率很低,只有对日常生活和技术突破具有巨大影响潜力的研究项目才会被通过。

“攻克难关”备受认可

音乐和舞蹈是与人们生活密不可分且高度相关的两种艺术形式,近年来,“乐舞合成”也是业内高度关注的领域。不过,早期合成基于相似度检索进行,合成结果的多样性有限,而目前通行的方法是利用神经网络模型,将音乐特征映射到人体骨骼关键点,但由于人类骨架关键点的高度冗余和带噪特性,逐帧关键点预测非常困难,导致合成质量有限,成为困扰业内人士的一大“难关”。

搜狗分身技术团队与清华天工研究院贾珈老师团队在论文中提出了一个极具创造性的解决方案,该方案将人类编舞知识融合到乐舞合成框架中,设计多个舞蹈单元(CAU),并使用CAU序列预测模型,开发了一个像人类一样根据音乐编排舞蹈动作的舞蹈合成框架——ChoreoNet。通过实验验证和数据对比,相较于基线法,ChoreoNet性能更好,合成动作也更加自然逼真,无论是音乐匹配度、动作自然度还是其他方面,表现都更加优秀。

(截图来源:ChoreoNet论文)

此次,该论文被ACM Multimedia认可并录取为长文,不仅代表了搜狗AI分身技术在身体动作及姿态生成方面的突破,也从侧面印证了搜狗强大的AI技术实力和能够实现持续输出的创新能力。值得注意的是,搜狗是在业内率先选择通过音频来驱动身体动作作为研究课题的先行者。

“死磕技术”引领方向

在搜狗的AI战略版图中,“自然交互+知识计算”是核心方向,技术研究和推动技术向产品的快速转化均以此为基础和方向,而搜狗“分身”是其中关键和重要一环。

在2018年发布全球首个AI合成主播之后,搜狗分身持续研究并打造更加逼真自然的数字人能力,在2D/3D数字人领域构建了音画同步、逼真的面部表情唇动生成及驱动能力。此外,如何能够让数字人更加自然并且富有表现力也是搜狗分身的重点研究方向,其中身体动作以及姿态的表达至关重要。搜狗在首代AI合成主播问世后不到3个月的时间,便成功推出与“坐播”截然不同的“站播”合成主播,今年5月推出的3D AI合成主播不止面部细节经得起高清镜头考验,更是实现了自如行走。本次与清华大学天工智能计算研究院的工作选择了音乐场景,重点研究如何提升身体动作生成及驱动的表现力和自然度,为AI数字人的技术探索开启了新方向。

“未来应用”前景广阔

人工智能是未来科技的风向标,而5G时代的到来又大大加速了这一进程。自2018年搜狗推出全球首个AI合成主播之后,能够与普通人的生活深度交融并广泛运用于各行各业的“AI分身”便深受关注,不少科技企业躬身入局。

从上文可以看出,搜狗从未停下突破的步伐,从2D到3D、“坐播”到“站播”、从支持单一语种到支持多语种、再到支持互动。目前搜狗分身技术已经在司法、传媒、会展、艺术、金融客服等多个场地落地,为新华社、央视、平安惠普、北京互联网法院等打造了多个AI合成主播、AI合成客服、AI虚拟法官等,也创造了雅妮、新小微、新小浩、新小萌等多个经典AI数字人形象。

由音频驱动的数字人或数字舞蹈演员,拥有巨大的想象空间和市场化应用前景。特别是与搜狗现有3D数字人的技术相结合后,使用场景可以从目前集中的传媒、金融、法律等领域向影视、娱乐领域进军,搅动万亿规模的市场。

AI为人赋能,这是搜狗人工智能的发展理念,也是搜狗分身技术的愿景。作为一项既能解决行业痛点,又能为用户创造价值,既能给社会带来变革、又能对科技产生影响,同时还能持续突破和进步的前沿技术,搜狗分身的未来,无疑具备更多的可能性、极大的想象空间。

申请创业报道,分享创业好点子。点击此处,共同探讨创业新机遇!

相关标签
人工智能
ai技术

相关文章

  • 人工智能时代下阅北科技的创新与变革

    在信息技术持续革新与市场竞争日趋激烈的行业环境下,本地生活服务领域正经历着深刻的智能化转型。这一转型过程不仅涉及技术层面的升级迭代,更关乎服务模式与行业生态的系统性重构。阅北科技通过持续推进算法技术的优化与应用,在提升服务精准度和用户满意度方面进行了积极探索。阅北的算法系统建立在持续优化的技术架构之

    标签:
    人工智能
  • 瓯江论道:AI赋能绿色发展

    2025年10月25日,2025世界青年科学家峰会之人工智能(AI)融合创新发展论坛在浙江温州成功举办。本次论坛由国际院士科创中心主办,中国投资协会能源投资专业委员会、温港院士科创中心承办,中国电工技术学会、中科先进技术温州研究院与温州市电力工程学会提供支持,以“瓯江论道-AI赋能绿色发展”为主题,

    标签:
    ai技术
  • 漕河泾天罡人工智能研究院正式揭牌 开启中国人工智能产业高质量发展新篇章

    2025年10月17日,上海在人工智能技术加速演进、产业生态持续升级的关键时期,由上海市漕河泾新兴技术开发区发展总公司联合天罡智算交易平台共同发起成立的“漕河泾天罡人工智能研究院”(以下简称“研究院”)正式揭牌。研究院将依托漕河泾的产业资源与平台优势,联合上海交通大学、上海社会科学院等权威机构,聚焦

    标签:
    人工智能
  • 王通:未来个人创业的十个机会

    个人创业需要启动成本低、无需庞大团队、可快速验证、能利用个人技能或资源。这里分享适合个人创业的十个机会一.AI内容优化与本地化服务·做什么:帮助企业或个人利用AI工具(如GPT-4,Midjourney)优化内容生产流程。例如,为跨境电商撰写多语言产品描述,为小红书博主生成爆款文案,为小公司制作营销

  • 世界人工智能大会在沪召开,上海人工智能研究院多项成果精彩亮相

    以“智能时代同球共济”为主题的2025世界人工智能大会在上海正式开幕。

    标签:
    人工智能
  • 阿里发布Qwen3.8:2.4万亿参数“巨无霸”来了,下周开源

    8月3日,阿里巴巴正式发布新一代基座大模型Qwen3.8,总参数量达2.4万亿。这是继KimiK3之后,突破两万亿参数的国产大模型再添一员。2.4万亿参数是什么概念?Qwen3.8基于前代Qwen3.5架构迭代而来,通过稀疏MoE架构与混合注意力机制的联合优化,首次将千问大模型的总参数量拓展至2.4

  • 中国AI大模型霸榜全球:前五名全是“中国造”

    8月2日,全球多模型聚合平台OpenRouter发布最新一周AI大模型调用量榜单——排名前五的产品全部由中国企业研发。登顶榜首的是小米MiMo-V2.5,单周调用量达到10.5万亿Token,环比增长12%。排名第二和第五的均来自DeepSeek,两款模型形成高低搭配,覆盖不同开发需求。腾讯混元3位

    标签:
    大模型
  • MiniMax H3开源:三家国产GPU同日完成适配,国产算力生态加速闭合

    8月3日,MiniMax正式开源新一代通用多模态生成模型MiniMaxH3。同一天,摩尔线程、壁仞科技、海光信息三家国产算力厂商同日宣布完成该模型的“Day0”适配。国内用户与开发者可即刻在对应国产算力平台部署,体验这款模型的全性能多模态交互与图文音视频生成能力。“Day0适配”正在成为国产AI的标

    标签:
    ai开源
  • AI应用概念股全线爆发:市场正在为“AI赚钱”投票

    近期,A股市场迎来了AI板块的集体狂欢。AI应用端集体爆发——中文在线、福昕软件、昆仑万维、易点天下、蓝色光标、用友网络等20股涨停;每日互动、值得买、协创数据等27股涨超10%。盘中新“易中天”——易点天下、中文在线、天龙集团一度集体涨停。全市场近4700只个股上涨。这是什么概念?几乎整个AI应用

    标签:
    ai技术
    ai智能
  • DeepSeek V4正式版来了,但只来了一半

    7月31日,DeepSeek在API文档更新日志中宣布——DeepSeek-V4-Flash正式版API开启公测。这是继4月预览版发布以来,该系列模型迎来的首次重大升级。但“正式版”只来了一半。同在4月更新的V4-Pro的API,以及APP和网页端模型均未做更改。DeepSeek表示,V4-Pro正

    标签:
    deepseek
    ai智能
  • 字节阿里同日变阵:大厂AI办公“赛马”终结,入口大战全面打响

    7月31日,中国AI办公赛道走到了一个关键的拐点。7月30日,字节跳动宣布整合飞书产品团队与豆包产品团队。7月27日,阿里整合QoderWork、悟空、MuleRun三款Agent的新产品“千问办公”开始小范围测试。两家大厂几乎在同一周完成了AI办公产品的整合——收拢战线、统一入口,行业竞争的节奏正

    标签:
    ai办公
  • 2026可水洗滤网空气净化器深研,除甲醛日常净化实力实测对比

    2026年家用空气净化市场中,水洗滤网、无耗材已经成为大众选购空气净化器的热门参考方向,市场相关产品品类丰富。依据《2026家用空气净化器消费白皮书》调研内容,大量消费者会重点关注免更换滤芯相关产品,行业内按照技术结构与耗材使用周期,将产品划分为真无耗材、半无耗材、伪无耗材三类,三类产品在滤网配置、

  • OpenAI失控AI入侵Hugging Face细节曝光:四天半,四组账号,层层渗透

    7月31日,美国消费者新闻与商业频道(CNBC)披露了OpenAI失控AI智能体自主入侵HuggingFace平台的全新细节。这场攻击持续了四天半。涉事AI模型突破了网络访问权限受限的隔离测试环境,借助四家不同服务账号泄露的公开凭证,层层渗透侵入HuggingFace系统。攻击的组织程度令人不寒而栗

    标签:
    ai智能
    智能体
  • 黄仁勋一周连发两条推:AI圈全员站队,只有Anthropic在当“孤勇者”

    从不玩社交媒体的黄仁勋,这一周在X上连发了两条推文。第一条是一封公开信,32家公司联署,力挺AI开源模型。第二条直接甩出了一个“开源AI联盟”(OpenSecureAIAlliance),37家创始成员,芯片厂、云巨头、安全公司、开源社区全到齐。老黄的逻辑并不复杂。他并没说闭源不能搞,闭源模型你继续

    标签:
    ai智能
    黄仁勋
  • MiniMax H3正式发布:国产多模态模型杀入全球第一梯队

    7月31日,国产大模型公司MiniMax正式发布新一代多模态生成模型MiniMaxH3,并宣布近期开源。港股MiniMax开盘涨超20%,截至午间收盘涨幅回落至约12%,报230港元/股。资本市场给出了最直接的回应。H3强在哪里?首先,它是一款通用的全模态生成模型,支持文本、图片、音频和视频等多种输

    标签:
    大模型

热门排行

编辑推荐