10月22日下午,第三届端侧大模型论坛在 CNCC 2026(中国计算机大会)期间于成都西博城举办。本次论坛以“定义端侧通用人工智能”为主题,围绕文本、语音、多模态交互、AI自进化、智能体等五大核心方向进行了深度报告,展现了端侧智能从“能对话”迈向“能感知、能推理、能行动”的技术跃迁。
论坛主席、清华大学长聘教授、面壁智能联合创始人兼首席科学家刘知远发表开场讲话,指出人工智能正在“密度定律”的驱动下加速进化,通过 AI 赋能底层架构与开发链条,端侧大模型已实现从被动对话向全模态感知、深思考推理及自主行动的跨越,推动通用智能从中心化云端走向广泛端侧,让普惠 AI 真正融入每个人的生活,为整场论坛奠定了以普惠智能驱动端侧变革的基调。

(论坛主席、清华大学长聘教授、面壁智能联合创始人兼首席科学家发表开场讲话)
姚远:全双工全模态交互,让 AI 真正自然相伴
未来的 AI 交互不应是生硬的回合式一问一答与被动等待,而是像真人面对面一样自然流畅。论坛联席主席、清华大学人工智能学院助理教授、面壁智能联席首席科学家姚远在题为《迈向类人交互的实时全模态大模型》的报告中,系统阐释了多模态作为智能跃迁关键引擎的必然逻辑,指出物理世界的绝大部分知识都需要从多模态感官互动中汲取。他总结了人类多模态交互的三大特性:第一,实时动态、全模态,可以同时处理视觉和语音信息;第二,输入输出并行不阻塞,可以一边看、一边听、一边说,并根据环境反馈及时调整;第三,自然低延迟的语音交互,说话时机、轮次都很自由。而传统多模态大模型开始说话时就相当于“闭上眼睛捂上耳朵”,说话时机也由外部工具被动控制。

(论坛联席主席、清华大学人工智能学院助理教授、面壁智能联席首席科学家姚远发表演讲)
在技术落地上,面壁智能最新的 MiniCPM-o 4.5 凭借 Omni-Flow 时间高同步全模态 I/O 流架构,彻底打破了交互阻塞瓶颈,让模型在同一时间内边看、边听并实时生成语音;引入高频自主交互语义判断机制,使智能体能够自主判断交谈时机,支持随时打断、自然插话与伴随态提醒;结合视觉浅层早期压缩技术与字级别端到端韵律建模,8B 规模的端侧模型不仅兼顾了高度拟人的音色表现与低延迟,还能在断网或弱网环境下稳定运行,为智能终端构筑起兼顾隐私安全与高可用性的底层交互基础。
肖朝军:深耕智能密度,释放端侧大模型的极致效能
如何破解端侧大模型在算力与显存受限下的效率难题?清华大学计算机系助理研究员、面壁智能学术合伙人、大语言模型首席科学家肖朝军在题为《高能力密度大模型的高效构建》的报告中以面壁“小钢炮” MiniCPM 系列为例给出了答案,分享了从 MiniCPM-3 4B 到 MiniCPM5-2B 的演进历程和构建奥秘。
他用芯片行业的发展作类比:芯片性能的提升,并不是靠把芯片做得更大,而是通过提升电路密度实现的。大模型也应如此——关键在于提高“算力到智能的转化效率”。面壁智能围绕这一理念,打造了完整的高效技术方案:在架构层面,研发了在长文本任务中无新增参数的 InfLLM-V2 稀疏注意力机制、大幅降低显存压力并将解码吞吐提升数倍的 NOSA 卸载架构,以及支撑超长上下文的 MiniCPM-SALA 混合注意力方案等;在数据层面,建立 L0 到 L4 五层分级治理体系,逐级提升数据知识密度,优质数据可使达到同等性能所需的训练计算量减少 95%;在学习层面,提出 JustRL 等可扩展强化学习方案,用最基础的配方在 1.5B 模型上实现 SOTA 推理性能。
截至 2026 年 10 月,MiniCPM 系列累计下载量突破 6000 万次,17 次发布 17 次登顶 Hugging Face 榜单首位。最新的 MiniCPM5 系列中,1B 模型性能登顶同级别,2B 模型在 AA-Index 排行榜位列 4B 以下第一,成为端侧智能体新标杆。
李宇轩:高性能计算软件进入“按需定制”时代
当智能走向终端,一定会遇到的现实难题是:不同手机、汽车和硬件的芯片千差万别,谁来适配?面壁智能技术合伙人、智能进化首席科学家李宇轩在题为《AI 制造 AI:Forge Engineering 驱动端侧大模型的芯片级训推定制》的演讲中指出,随着大模型自主工程能力的提升,底层算子与计算框架的编写主体正逐渐转为 AI 智能体本身。
面对千差万别的终端芯片与高昂的专家适配成本,李宇轩提出了由“模型+Harness”自主产出定制软件的 Forge 范式,由人类定义黄金参考标准与验收标准,引导智能体在其中反复尝试、自主迭代,从而释放深度定制、软硬件垂直整合以及海量设计空间探索的三重优势。
该体系已沉淀出四项代表性成果:算子层面的 ForgeKernel 在 NVIDIA FlashInfer-Bench 与 CANN-Bench 两大公开榜单中均位列第一;面向工业偏微分方程的 ForgeStencil 成功优化了上百个科学计算应用并取得普遍加速;训练层面的 ForgeTrain 摆脱传统开源框架冗余,从零构建精简引擎,使模型算力利用率(MFU)显著提升并反哺 MiniCPM5 的正式训练;推理层面的 ForgeMegakernel 则通过单算子融合技术大幅压缩解码开销。这一范式让原本需要专家团队数月的人工优化周期压缩至数十小时,为端侧硬件的高效适配开辟了自动化新路径。
曾国洋:多语言高保真,给每一个终端注入有温度的智能声音
语音是人类情感与意图最直接的载体,也是端侧智能接入真实交互场景的关键入口。高质量的语音交互不应是机械的文字播报,而应成为传递真实情绪、个性身份与环境场景的关键通道。面壁智能联合创始人、首席技术官曾国洋在题为《VoxCPM:连续自回归的语音生成模型》的分享中介绍了面壁智能把 MiniCPM 的智能密度思路延伸到语音领域的实践。
他提到,过去的语音合成长期受困于两难之间,要么“小而不真”,听起来像机器;要么“真而不快”,效果好但模型大、反应慢,难以在端侧实时对话。VoxCPM 想做的,是两者兼得。VoxCPM 采用分层设计:负责语义与韵律规划的目标语言模型(TSLM)专注规划“说什么、什么语调”;负责音色细节渲染的残差声学模型(RALM)专注渲染“像谁、什么细节”。借助半离散瓶颈和局部扩散机制,模型在保持极高音质细节的同时大幅削减了延迟。这套架构让 VoxCPM 仅凭 0.5B 的轻量参数,就在语音清晰度与拟真度等关键指标上,击败了参数量数倍于己的同类模型,诠释了高能力密度的优势。
最新发布的VoxCPM2 将这套分层架构推向多语言高保真基座:支持 30 种语言与 9 种中文方言、48kHz 高保真输出;一套参数即可覆盖零样本声音克隆、自然语言风格控制与长文本续写等多维功能,正在语音克隆、实时语音交互、配音与内容生产等场景加速落地。
林衍凯:让智能体可靠完成复杂长任务
今天的 AI 智能体能可靠地完成几分钟的任务,但若让它独立完成一项跨越数小时、步骤繁多的复杂任务时往往很容易“半途翻车”。中国人民大学预聘副教授林衍凯在题为《面向通用智能的大模型自主智能体》的报告中指出,长程任务失败的症结并非模型不够聪明,而是缺乏像人类专家一样的系统性长程执行能力:关键信息容易在长对话中被冲淡、缺少可信的中间结果判断依据、长链条中错在哪一步难以定位,以及缺乏不依赖外界帮助的自我纠错机制。
这四项能力过去依赖人工规则预设,如今正转向在交互中自主习得。围绕这一思路,团队展示了一系列突破性研究:在长程记忆方面,AtomMem 通过强化学习自主掌握增查改删四类操作,SimpleMemVLA 则在具身场景中保留完整原生视频上下文以推迟取舍;在反馈机制上,AgentRM 依托状态价值评估实现了跨任务泛化指导,VeriCUA 则为图形界面任务构建了主动探查与验证机制;在信用分配上,FocalRL 将采样算力精确聚焦至少数关键决策点,大幅平抑长轨迹训练的方差;在自主改进方面,CURE 探索出在重新推理时主动舍弃错误解的策略,有效消除了思维定势并实现了持续性能爬升。
端侧设备的交互是长久持续且高度个性化的,只有赋予智能体自主学习记忆、评估与反思演化的能力,大模型才能从执行碎片化指令的辅助工具,蜕变为真正值得信赖、能长久托付复杂业务的通用自主智能体。
智周万物:让智能融入每个产业、装进每个终端、惠及每个人
让通用人工智能以普惠、高效的形式走入真实生产生活,是端侧技术创新的长期坐标。从全双工流式的类人多模态交互,到底层架构与训练体系对智能密度精细挖掘;从 AI 自进化的芯片级训推定制,到兼顾保真度与低延迟的智能语音生成与自主可控的长程智能体,本届论坛所呈现的多维成果,勾勒出面壁智能及其学术伙伴在端侧大模型全技术栈上的深耕逻辑。面壁智能始终践行“智周万物”的使命,致力于通过极致的智能密度,打破 AI 对庞大中心化算力中心的单一依赖。当高智能、善思考、懂行动的大模型在智能手机、PC、智能汽车、具身机器人等多元端侧载体中蓬勃生长,强大的智能终将真正扎根在离每个人最近的地方,融入日常,润物无声。
申请创业报道,分享创业好点子。点击此处,共同探讨创业新机遇!
