1. 创业头条
  2. 前沿领域
  3. AI智能
  4. 正文

数字内容“遍地开花”,AI技术如何创新“造梦”?

 2024-06-24 10:37  来源:A5专栏  我来投稿 撤稿纠错

  一键部署OpenClaw

文 | 智能相对论

作者 | 陈泊丞

这是春晚舞台西安分会场《山河诗长安》的一幕:“李白”现世,带领观众齐颂《将进酒》,将中国人骨子里的豪情与浪漫演绎得淋漓尽致。

这又是浙江义乌商品市场里的另一幕:只会说几个英文单词的女老板秒变外语达人,无缝切换36国语言流畅介绍自家商品,疯狂带货。

这一幕幕不可思议的画面,成就了今天中国文化、商业的频频出圈。而一切的背后,都有着相同的支持:AI技术赋能数字内容生产和应用。

近年来,随着AI大模型技术的持续升级与赋能,数字内容生产与应用的趋势愈发强烈,现实场景与数字内容不断融合,悄然改变着整个内容创作行业的格局,甚至进一步推动了相关产业和商业的新变革。

技术创新重塑数字内容生产与应用新范式

数字人“李白”的精彩演绎、义乌女老板的AI带货——这些热门事件的背后,是技术创新突破所带来的结果。AI大模型的成熟应用,让越来越多不同形式的数字内容得以爆发,并广泛进入大众视野。

在6月21日举办的华为开发者大会(HDC 2024)上,华为云盘古大模型迎来5.0版本升级,其中盘古媒体大模型在语音生成、视频生成以及AI翻译上的技术创新就重塑了数字内容生产和应用的新范式。

对比过去的技术能力,新的技术所带来的效果是非常显著的。

一、语音生成进阶:只需三言两语,沉浸式、真实感的语音易如反掌

过去的语音生成依赖传统的声音克隆模型,由于模型比较小,精度低等原因,往往在实际操作上就要复杂得多。比如,在数据收集阶段,对目标人物的语音数据就要尽可能的多样化,包括不同的语速、语调、音量以及不同语境下的语音,需用到几百句话的录音。

然后到了预处理阶段,需要对收集到的语音数据进行清洗,通过人工标注等形式去除噪声、静音片段和其他不需要的部分。进而还要进行语音分割,将连续的语音信号切割成较小的语音片段(如音素或单词)。最后提取音频特征,再用于后续的声音建模。

以上,还只是数据收集和预处理,尚未进入真正的语音生成阶段。但其中的工作量和操作复杂度就已经很大了,对语音生成的效率和质量都是一个非常大的影响和挑战。

时至今日,随着技术的创新,基于更先进的模型,比如盘古媒体大模型的语音生成能力,这一问题得到了很好的解决。只需要几句话、几秒钟的声音,AI即可学习到个性化的音色、语调、表达韵律,从而获得高质量的个性化语音。同时,还支持喜怒哀乐等拟人情感语音,闲聊、新闻、直播等10多种语气风格,让生成的语音更真实、更有情感色彩,能沉浸式地应用到不同场景中。

比如,在视频译制中,AI将能做到配音演员的专业程度——通过盘古媒体大模型提供的视频翻译能力,AI可以把视频翻译为目标语言,并保留原始角色的音色、情感、语气。华为云也在积极联合伙伴逻辑智能,打造高感情语音克隆以及14国小语种配音,共同构建高感情超拟人多模态音频应用能力等。同时,再结合盘古媒体大模型的口型驱动模型,还可以实现音唇同步,尤其是在侧面、多人对话、物体遮挡以及人物移动等场景,也能做到很好的口型匹配。

二、视频生成跨越:只需几十张图,可控的、一致的视频唾手可得

传统的视频生成技术在资源需求、数据集、时序一致性、物理定律遵守、效率与质量平衡、可控性、逼真度和连贯性以及应用限制等方面都存在一定的局限性。如今,基于盘古媒体大模型,只需要训练几十张特定美学风格的图片,如吉卜利、二次元等风格,再输入实拍视频即可快速生成该风格的动漫视频。

除了按需时长生成稳定的动漫视频,再通过ID一致性模型,还能对生成画面中的关键角色进行一致性处理,确保视频中角色样貌特征在前一帧和后一帧中所呈现的效果始终一致,在侧脸、运动轨迹下的视觉效果合理一致,由此增强AI视频生成的可控性、一致性,让视频内容更合理、真实。

此外,业内对视频生成的真实度、复杂度也在聚焦增强。比如,OpenAI的Sora正在试图模拟复杂的摄像机运镜,同时准确地保持角色和视觉风格一致,让AI创作的数字内容更加趋于现实创作。英伟达更是发布了一系列技术套件如ACE(NVIDIA Avatar Cloud Engine)、NeMo™以及RTX™等,去增强数字内容的真实感,让数字人物的互动、对话更加复杂、逼真。

三、AI翻译强化:准确性>93%,实时的、跨语言沟通指日可待

过去的机器翻译系统往往是基于统计模型或规则模型构建的,因此翻译结果大多无法与原文一致,显得生硬、不自然,并不具备应用到不同场景的条件。现如今,华为云通过AI实现多语种实时传译,准确性>93%,可应用于实时通话、云会议等需要实时翻译场景。

同时,基于盘古媒体大模型的语音复刻、AI文字翻译以及TTS技术,便可以实现语音的同声传译,成功实现跨语言母语沟通体验。甚至还可以结合数字人技术,让数字人来模拟用户说话,结合口型模型技术做到口型与声音精准匹配,让AI翻译、数字人与语音生成高度结合用于线上开会、跨国贸易交流等场景中。

技术的“瓶颈”在收缩?

技术的创新和突破带来了数字内容生产和应用的爆发,但另一方面随着生产和应用的进程加速,相应的技术瓶颈也在出现,并不断收缩、聚焦。目前,AI大模型在数字内容生产和应用上的问题主要呈现在三个层面。

其一,能源与计算效率瓶颈。 当前,大模型训练的算力当量还在进一步增大,从GPT-3到GPT-4算力当量增长了68倍。随着训练的token数、模型参数增加,大模型训练所需的计算量也需要随之增加。

更重要的是,其背后的成本投入是难以为继的。根据计算,训练一个5000亿参数规模的Dense模型,基础算力设施投入约10亿美金,无故障运行21个月,电费约5.3亿元——这远远超出了企业的承受范围。

但是,如果想要规模化地生产高质量的数字内容,大模型的精进又是必要的路径。在这个阶段,业内开始寻求更高效、更优的算力解决方案。像华为云昇腾AI云服务就在致力于提供方便、好用的算力服务,在算力层面不断革新计算能力和计算效率,提供从云化算力、模型开发、模型托管到生态的全栈服务。

其二,算法架构的优化挑战。 随着大模型参数的增加,想要实现更好的计算结果和输出更优的答案,那么其处理的时长就会不断延长的。但是,这在实际应用中是一个困扰数字内容生产和应用的显著问题,非常不利于数字内容的规模化、商业化发展。

由此,业内也开始在算法架构上进行优化,调整计算逻辑、处理方法来实现更优效果。其中,以稀疏激活机制为代表的MoE模型就是目前AI行业的一个焦点,类似于“术业有专攻”的理念,稀疏激活机制通过对数据任务进行拆解,分门别类,再分配给特定的“专家”(Experts)进行处理,最终综合加权输出——不仅实现了计算效率优化,也让输出结果更加全面、强大。

其三,安全与伦理问题。 大模型内部运行机制复杂,生产出来的内容欠缺可解释性和可控性,又易受对抗样本攻击,存在监管难题和安全漏洞。对此,在数字内容生产和应用中,相关的安全和伦理问题随着行业的广泛发展而日趋突显。

因此,在数字内容行业高速发展的阶段,尽管企业能吃上数字内容的红利,但也需要鉴别模型的安全性、可靠性,避免因模型的安全和伦理问题而引发负面舆论影响。在这样的挑战下,华为云盘古大模型也随即作出升级,在数据治理、安全合规等方面达到了较高标准。

以技术“造梦”,数字内容未来可期

新范式的明确带来更明确的技术方向,对于整个数字内容行业而言,这意味着未来的发展已经有了基础的雏形,前景仍是乐观的。但是,不可忽视的是,技术的瓶颈客观存在,且更加突出,摆在行业面前的依旧是一条较为严峻的发展之路。

尽管抛开技术瓶颈不谈,在具体的实践中,数字内容的生产和应用也不简单,往往都需要面对很多在技术之外的具像化问题,只有基于问题去一步步解决才能最终完成落地。

华为云团队在进行纪录片译制时就发现,项目实际开展起来会遇到各种各样的问题,比如环境声音太杂太乱,AI无法准确识别人声保证音译的完整度,或是随着场景的切换,人物的状态、口型都呈现出不同的样子,需要AI精准地匹配等等。

如果这些问题不一一解决,AI译制的效果就打了个大大的折扣。对此,华为云团队通过精准分析问题,采用不同的技术去解决各类细微问题,比如通过分离模型技术让环境声和人声分开,通过口型模型技术让声音与口型精准匹配等。

技术或许一直都有,但是如何用恰恰才是项目落地的关键。换句话说,在今天数字内容行业高速发展、技术创新加速迭代的阶段,只有实践了才能真正推动行业的发展。这是一个比拼项目的阶段,谁家的项目经验越丰富,越能知道相关的技术应该如何应用才能发挥出应有的效果。

目前,中影集团与华为云合作,将媒体大模型应用到影视工业,共同打造影视译制大模型,通过AI将视频译制成不同语言,并保留原始角色的音色、情感、语气,还能支持口型匹配,为影片译制提供全新的AI制作方式。

今天,数字内容迎来迸发,越来越多精彩内容面世的另一面恰恰是厂商们不断运用技术、验证技术、完善技术的过程。未来的项目之路任重而道远,同时也是行业走向成熟的必经之路。静待技术在创新中、实践中持续升级、完善,未来便更快能看到一个数字内容精彩纷呈,如同梦境一般的世界。

*本文图片均来源于网络

此内容为【智能相对论】原创,

仅代表个人观点,未经授权,任何人不得以任何方式使用,包括转载、摘编、复制或建立镜像。

部分图片来自网络,且未核实版权归属,不作为商业用途,如有侵犯,请作者与我们联系。

•AI产业新媒体;

•澎湃新闻科技榜单月度top5;

•文章长期“霸占”钛媒体热门文章排行榜TOP10;

•著有《人工智能 十万个为什么》

•【重点关注领域】智能家电(含白电、黑电、智能手机、无人机等AIoT设备)、智能驾驶、AI+医疗、机器人、物联网、AI+金融、AI+教育、AR/VR、云计算、开发者以及背后的芯片、算法等。

申请创业报道,分享创业好点子。点击此处,共同探讨创业新机遇!

相关标签
ai技术

相关文章

  • 瓯江论道:AI赋能绿色发展

    2025年10月25日,2025世界青年科学家峰会之人工智能(AI)融合创新发展论坛在浙江温州成功举办。本次论坛由国际院士科创中心主办,中国投资协会能源投资专业委员会、温港院士科创中心承办,中国电工技术学会、中科先进技术温州研究院与温州市电力工程学会提供支持,以“瓯江论道-AI赋能绿色发展”为主题,

    标签:
    ai技术
  • 王通:未来个人创业的十个机会

    个人创业需要启动成本低、无需庞大团队、可快速验证、能利用个人技能或资源。这里分享适合个人创业的十个机会一.AI内容优化与本地化服务·做什么:帮助企业或个人利用AI工具(如GPT-4,Midjourney)优化内容生产流程。例如,为跨境电商撰写多语言产品描述,为小红书博主生成爆款文案,为小公司制作营销

  • 百度智能云PaddleOCR 3.1正式发布:关键能力支持MCP

    百度AI团队今日正式推出PaddleOCR3.1版本,以突破性的多语言组合识别(MultilingualCompositionPerception,MCP)技术为核心,彻底重构复杂文档处理边界。此次升级标志着OCR领域首次实现对同一文档内任意混合语言文本的精准识别,为全球化企业、跨境业务及多元文化场

    标签:
    ai智能
    ai技术
  • AI工具导航网站,未来的发展前景怎么样?

    导航网站的崛起:从信息过载到精准触达随着全球AI工具数量爆发式增长(2025年已超数万款),用户面临前所未有的选择困境。传统搜索引擎的“关键词-链接”模式难以应对工具筛选的场景需求,垂直化、场景化的AI导航网站应运而生。这类平台通过聚合、评测、分类与推荐四重机制,将分散的工具资源整合为结构化入口。例

  • 微信AI搜索被指“强行开盒”:名字成了数据入口,腾讯回应“仅用公开信息”

    当微信公众号文章中出现一个人的名字,它会自动变成蓝色链接,点击即可查看AI生成的“个人简历”——这一微信新功能让不少用户感到被“扒光”在互联网上。近日,微信新上线的“AI搜索”功能陷入隐私泄露争议漩涡。多位网友在社交平台反映,当微信公众号推文中出现本人姓名时,名字会自动变为蓝色超链接,点击即可浏览由

    标签:
    ai技术
    ai搜索
  • AI长剧的尴尬:降本容易赚钱难

    8月31日,一部没有任何真人演员的AI剧集—《后西游记》,进入了省级卫视的电视剧黄金档。该剧由芒果TV出品、芒果TVAIGC创新内容中心制作、伯璟文化承制,改编自明末清初同名神魔小说,是《西游记》三大续书之一。作为季播剧,《后西游记》率先播出的是第一季“花果山篇”共5集、每集40分钟。这是第一部以长

  • 价值与成本,Anthropic和智谱的轮番验证

    2026年,AI不再只是“问答对话”的工具,开始真正“完成工作”,这背后发生了一连串技术变化,从模型Scaling转向智能上界、推理效率、长程任务、Agent系统。这些变化,汇聚在“先行者”自述的字里行间。Anthropic有望在9月下旬公开招股书,智谱发布上市以来的首份中期业绩。中美两家大模型公司

  • AI风口之下,明星们又想“挤上”牌桌了

    在AI演员是否能取代真人的讨论愈演愈烈之际,已经有明星开始“未雨绸缪”将AI当成了副业。据悉,胡彦斌用AI做了一个App;C罗投资了一家200亿美元的AI公司;王嘉尔设计了一副AI眼镜,MagicAIGlasses售价约1000元;周杰伦母亲持股的公司和宇树科技联手,要做一只“巨星狗”……除此之外,

  • AI 让智能硬件卖得更贵,但增长消失了

    过去两年,在AI技术浪潮的驱动下,硬件“复兴”成为电子消费市场一条清晰的主线,不仅诞生了许多新品类,而且几乎所有的硬件都在以AI为卖点,重新打造产品竞争力。他们想要抓住的,不单单是某一个产品或赛道,而是未来可能成为一个控制入口或交互入口的希望。当然,更为迫切的是为低迷的市场找寻新的增长点、扭转增长的

  • 当机器人开始说“真话”,智元们调整叙述逻辑

    作者:Evin编辑:刘致呈审核:徐徐出品:互联网江湖最近,具身智能赛道迎来了一场意外风波。先是刚刚才带领公司完成上市的梅卡曼德CEO邵天兰,在朋友圈公开炮轰当前行业盛行的一种“攒局型”具身智能创业——套路就是靠各种关联交易(如“数采中心”“租赁公司”)做出不可持续的收入,并通过发布“大新闻”炒作,以

  • 一年三轮融资丨讯兔科技(Alpha派)完成超3亿元B轮融资,金融AI加速迈向产业深水区

    近日,中国金融AI领跑者讯兔科技正式完成超3亿元人民币B轮融资。至此,公司在过去一年内已连续完成三轮融资。本轮融资进一步汇聚金融产业的战略力量,投资方覆盖险资、券商、公募、产业资本与头部投资机构。保险业国家级投资平台中保投资、头部券商系私募基金子公司广发信德共同参与;同时获得启明创投、琥珀资本、嘉程

  • 第一人称视角数据采集推荐

    第一人称视角数据采集,也称Ego数采,是当下具身智能获取训练数据的重要方式。一套完整可用的Ego数采方案,通常由“采集设备”与“数据处理工具链”两部分组成。广州市虚拟动力网络技术有限公司以自研的VDEgo-C2头戴式双目采集设备为核心,配套完整的数据处理工具链,覆盖从现场采集到标准化交付的全过程。一

  • 2027年香港头部国际学校插班机构推荐-汉基、英基、弘立等名校申请,专业机构怎么选

    2027年,越来越多内地家庭目标直指香港头部国际学校:汉基国际、英基学校协会、弘立书院、德瑞国际、香港加拿大国际、沪江维多利亚、耀中国际、HKIS、VSA等。这些学校IB成绩常年位居亚洲前列,升学去向遍布全球顶尖大学,是很多家庭的梦想学校。我直接说结论:申请香港头部国际学校,难度非常大,学位稀缺、竞

  • 快速发布之后怎么管?花生壳相比WorkBuddy等办公智能体,有哪些差异化解法?

    AI生成内容的能力越来越强,但一个尴尬的现实是:内容生成完了,往往卡在“怎么让别人打开”这一步。办公智能体帮你生成了一份漂亮的HTML报告,然后呢?静态托管平台部署上去了,然后呢?链接在手机里能打开吗?电脑关了呢?下次想改怎么办?这篇文章把花生壳快速发布(Drop+CLI)和国内四大办公智能体(Wo

  • 亿达科创携AI创新成果亮相服贸会

    9月9日,2026年中国国际服务贸易交易会(以下简称“服贸会”)在京举行。大会以“全球服务互惠共享”为题,聚焦“扩大开放、深化合作、引领创新”三大功能定位,汇聚全球服务贸易领域前沿成果。会议期间,亿达科创发布边缘AI&具身智能创新成果,充分展现在数字化服务领域的技术实力。作为“十五五”开局之年的重要

热门排行

编辑推荐