当前位置:首页 >  科技 >  IT业界 >  正文

RK3588+RK182X端侧AI平台升级V1.2.0!新增Qwen MoE大模型来了

 2026-11-17 14:48  来源: 互联网   我来投稿 撤稿纠错

  一键部署OpenClaw

端侧AI开发又有新进展!瑞芯微针对RK182X推出了 RKNN3 SDK V1.2.0版本,此次升级不仅扩充了大模型支持范围,还新增了MoE(混合专家模型)、PagedAttention(分页注意力)、多RK182X级联推理等功能。其中比较值得关注的是新增支持 Qwen3-30B-A3B、Qwen3.5-35B-A3B、MiniCPM-V-4.7-35B-A3B、GPT-OSS-20B-A3.6B 等模型。

此次升级,定昌电子也同步更新了基于RK3588+RK182X的DC_EN588边缘AI开发平台及配套盒子固件,为开发者进行本地大模型、多模态AI和机器人应用开发提供了新的软件环境。

一、RKNN3升级亮点

本次RKNN3 SDK V1.2.0并非简单增加模型,而是对底层推理框架、开发工具和硬件协同能力进行了多方面优化。

1. 增强大模型推理能力

l MoE支持:新增混合专家模型支持,为更大参数规模的模型部署提供基础。

l PagedAttention:采用分页注意力机制,优化大模型KV Cache的内存管理效率。

l 多卡级联:支持多块RK182X协同进行LLM分段推理,扩展模型部署能力。

l 多LoRA支持:支持多LoRA权重分离导出,便于不同业务场景下的模型适配。

l Grammar输出:支持LLM语法约束输出,方便生成符合指定格式的结构化数据。

2. 开发工具完善

新增RKNN3 MCP模型部署助手(Beta),发布RKNN Center V0.3.0,提供桌面端和命令行管理工具。同时新增Linux x86_64工具构建及.deb打包支持,Windows平台也增加了RK182X协处理器模式下的以太网连接支持。

在算子方面,新增LSTM、GRU、Tan、Atan、CumSum等算子,并对Resize、AveragePool、Transpose、TopK等算子的部分异常情况进行了修复。

二、新增哪些AI模型?

本次升级新增模型覆盖范围进一步扩大,涉及大语言模型、视觉语言模型、语音、OCR以及机器人等方向。

这类MoE模型虽然拥有数百亿级别的总参数,但实际推理时只激活部分专家参数。例如Qwen3-30B-A3B,总参数约30B,每次推理激活约3B参数。

三、固件与SDK升级

针对已经使用RK182X的开发者,此次升级需要特别注意软件版本兼容性。官方升级说明明确指出:

l RK182X固件与Runtime兼容V1.1.0模型。

l 应用需要根据新版rknn3_api.h重新编译。

l 升级至V1.2.0时,建议将RK182X固件、Runtime和Toolkit配套升级,避免组件版本不匹配造成运行异常。

定昌目前已提供配套开发环境及系统固件更新:

1、Debian 12固件:提供RK3588+RK182X组合平台适配版本。固件下载链接:

GB-Debian12-RK3588-en-cm-rk182x-og-20261114-153623.zip

2、Ubuntu 24.04固件:提供对应系统镜像。固件下载链接:

GB-Ubuntu2404-RK3588-en-ca-cm-rk182x-og-xfce-20261114-200435.zip

RKNN模型资源下载:客户可根据需求获取已经转换为RKNN格式的模型,减少自行转换部署适配的。

四、定昌RK3588 EN588硬件架构

此次定昌电子完成SDK升级的硬件平台是DC_EN588边缘AI开发板和开发盒。搭配RK182X AI协处理器,整机组合可提供约26TOPS INT8 AI算力。其中,RK1828可扩展20TOPS INT8 NPU算力,搭载5GB 3D堆叠片内DRAM,支持INT4、INT8、INT16、FP8、FP16、BF16等混合精度,为端侧大模型推理提供内存带宽和计算资源。

适合需要同时运行视觉算法和大模型的应用,例如RK3588负责摄像头视频解码、YOLO目标检测,RK182X负责本地LLM推理、视觉语言理解及自然语言交互。

另外,定昌还提供DC_M588+双路RK1828组合开发套件,整机组合算力约46TOPS INT8,可根据项目需求选择单路或双路算力扩展方案。

五、适合哪些AI项目

结合此次RKNN3 V1.2.0新增模型,DC_EN588可以面向以下几类应用进行开发:

l 本地AI知识库:部署本地LLM,结合企业知识库,实现本地的离线问答、文档检索和智能客服等。

l 多模态视觉助手:结合VLM模型,实现监控摄像头画面理解描述、物体识别及自然语言交互。

l AI智能机器人:利用AI Agent及视觉语言模型,实现环境识别、任务规划和工具调用,应用于巡检、清洁、陪护机器人。

l 智能语音终端:部署ASR、语音及说话人识别模型,实现语音转文字、语音交互等功能。

l OCR智能识别设备:应用于票据识别、文档解析、工业字符识别等场景。

申请创业报道,分享创业好点子。点击此处,共同探讨创业新机遇!

相关文章

热门排行

信息推荐