1. 创业头条
  2. 前沿领域
  3. 人工智能
  4. 正文

业界最强开源大模型来了!通义千问720亿参数模型正式开源

 2023-12-01 11:53  来源:互联网  我来投稿 撤稿纠错

  【推荐】海外独服/站群服务器/高防

12月1日,阿里云举办通义千问发布会,开源通义千问720亿参数模型Qwen-72B。Qwen-72B在10个权威基准测评创下开源模型最优成绩,成为业界最强开源大模型,性能超越开源标杆Llama 2-70B和大部分商用闭源模型。未来,企业级、科研级的高性能应用,也有了开源大模型这一选项。

通义千问还开源了18亿参数模型Qwen-1.8B和音频大模型Qwen-Audio。至此,通义千问共开源18亿、70亿、140亿、720亿参数的4款大语言模型,以及视觉理解、音频理解两款多模态大模型,实现“全尺寸、全模态”开源。力度之大,业界无出其右。

业界最强开源模型,填补中国LLM开源领域空白

Qwen-72B基于3T tokens高质量数据训练,延续通义千问预训练模型一贯以来的强势表现,在10个权威基准测评中夺得开源模型最优成绩,在部分测评中超越闭源的GPT-3.5和GPT-4。

英语任务上,Qwen-72B在MMLU基准测试取得开源模型最高分;中文任务上,Qwen-72B霸榜C-Eval、CMMLU、GaokaoBench等基准,得分超越GPT-4;数学推理方面,Qwen-72B在GSM8K、MATH测评中断层式领先其他开源模型;代码理解方面,Qwen-72B在HumanEval、MBPP等测评中的表现大幅提升,代码能力有了质的飞跃。

在10大权威测评中,通义千问720亿参数模型获得开源模型最优成绩

通义千问720亿开源模型部分成绩超越闭源的GPT-3.5和GPT-4

Qwen-72B可以处理最多32k的长文本输入,在长文本理解测试集LEval上取得了超越ChatGPT-3.5-16k的效果。研发团队优化了Qwen-72B的指令遵循、工具使用等技能,使之能更好地被下游应用集成。比如,Qwen-72B搭载了强大的系统指令(System Prompt)能力,用户只用一句提示词就可定制AI助手,要求大模型扮演某个角色或者执行特定的回复任务。

用户仅用一句提示词就可创建自己的AI助手

此前,中国大模型市场还没出现足以对标Llama 2-70B的优质开源模型。Qwen-72B填补了国内空白,以高性能、高可控、高性价比的优势,提供不亚于商业闭源大模型的选择。基于Qwen-72B,大中型企业可开发商业应用,高校、科研院所可开展AI for Science等科研工作。

从1.8B到72B, 通义千问 率先实现全尺寸开源

如果说Qwen-72B“向上摸高”,抬升了开源大模型的尺寸和性能天花板;发布会上的另一开源模型Qwen-1.8B则“向下探底”,成为尺寸最小的中国开源大模型,推理2K长度文本内容仅需3G显存,可在消费级终端部署。

从18亿、70亿、140亿到720亿参数规模,通义千问成为业界首个“全尺寸开源”的大模型。用户可在魔搭社区直接体验Qwen系列模型效果,也可通过阿里云灵积平台调用模型API,或基于阿里云百炼平台定制大模型应用。阿里云人工智能平台PAI针对通义千问全系列模型进行深度适配,推出了轻量级微调、全参数微调、分布式训练、离线推理验证、在线服务部署等服务。

阿里云是国内最早开源自研大模型的科技企业,8月以来开源了Qwen-7B、Qwen-14B和视觉理解模型Qwen-VL。几款模型先后冲上HuggingFace、Github大模型榜单,得到中小企业和个人开发者的青睐,累计下载量超过150万,催生出150多款新模型、新应用。发布会现场,多位开发者伙伴现身说法,分享了他们用Qwen开发专属模型和特定应用的实践。

阿里云CTO周靖人表示,开源生态对促进中国大模型的技术进步与应用落地至关重要,通义千问将持续投入开源,希望成为“AI时代最开放的大模型”,与伙伴们共同促进大模型生态建设。

通义千问基座模型持续进化,多模态探索业界领先

通义千问在多模态大模型领域的探索也领先业界一步,当天,阿里云首次开源音频理解大模型Qwen-Audio。

Qwen-Audio能够感知和理解人声、自然声、动物声、音乐声等各类语音信号。用户可以输入一段音频,要求模型给出对音频的理解,甚至基于音频进行文学创作、逻辑推理、故事续写等等。音频理解能够赋予大模型接近人类的听觉能力。

通义大模型能“听”也能“看”。通义千问8月开源出视觉理解大模型Qwen-VL,迅速成为国际开源社区最佳实践之一。本次发布会又宣布了Qwen-VL的重大更新,大幅提升通用OCR、视觉推理、中文文本理解基础能力,还能处理各种分辨率和规格的图像,甚至能“看图做题”。不论从权威测评成绩还是真人体验的效果看,Qwen-VL的中文文本理解能力都大幅超越了GPT-4V。

通义千问闭源模型也在持续进化,一个月前发布的通义千问2.0版闭源模型,最近已进阶至2.1版,上下文窗口长度扩展到32k,代码理解生成能力、数学推理能力、中英文百科知识、幻觉诱导抵抗能力分别提升30%、10%、近5%和14%。用户可以在通义千问APP免费体验最新版本的闭源模型。

申请创业报道,分享创业好点子。点击此处,共同探讨创业新机遇!

相关标签
大模型

相关文章

  • 首届通义千问AI挑战赛开赛,参赛者可畅玩通义开源模型家族

    12月1日,首届“通义千问AI挑战赛”开赛,参赛者可免费畅玩通义开源模型家族,包括刚刚发布的720亿参数模型Qwen-72B。主办方为参赛者提供价值50万元的免费云上算力和丰厚奖金。赛事分为算法和Agent两大赛道,前者聚焦通义千问大模型的微调训练,希望通过高质量的数据探索开源模型的代码能力上限,后

    标签:
    大模型
  • 最强开源大模型来了!通义千问720亿参数模型开源发布

    12月1日通义千问发布会,阿里云开源通义千问720亿参数模型Qwen-72B。Qwen-72B在10个权威基准测评创下开源模型最优成绩,成为业界最强开源大模型,性能超越开源标杆Llama2-70B和大部分商用闭源模型,可适配企业级、科研级的高性能应用。通义千问当天还开源了18亿参数模型Qwen-1.

    标签:
    大模型
  • 掰开安卓手机,满屏都是三个字:大模型

    这年头,安卓厂商没个大模型,都不敢开手机发布会了。前脚OPPO刚用大模型升级了语音助手,后脚vivo就官宣自研手机AI大模型;小米发布会则直接将大模型当场塞进手机系统……其竞争激烈程度,不亚于抢芯片首发。到底是怎么回事?究其原因,还是智能终端已经成为了各类AIGC应用的落地“新滩头”。先是图像生成大

    标签:
    大模型
  • 加速大模型落地,容联云发布多款生成式智能服务

    基于容联云自主研发的赤兔大模型能力,容联云容犀机器人真正将大模型强大的理解能力、知识学习能力、总结能力、挖掘能力、推理能力融入于实际落地应用中。开创性的打造生成式场景化智能问答、生成式智能辅助、AI运营话术库,帮助企业洞悉更精准的客户真实需求,提升一线客服人员的专业服务能力,并代替人工完成大量低价值

    标签:
    大模型
  • 从搜索到大模型,百度商业化的“惊险一跃”

    文:向善财经关于百度,最近发生了这么两件事儿。一个是华尔街分析师重申了对百度股票的买入评级和目标价,但在该公司11月21日公布第三季度收益之前下调了第三季度收入预期。分析师给出的理由是,线下广告支出走软,以及2G资金减少之后,给智能交通带来挑战。另外一个是最近文心一言正式上线了专业版,并且开始收费,

    标签:
    百度
    大模型
  • 吐槽3家知名的AI智能体

    我花了2天时间,把松松最近1年的爆款文案+关键词+情绪+口头禅整理出来,4000多字的Prompt,都是一点点打出来的,再投喂到AI大模型里。使用的平台包括:通义千问、文心一言、智谱清言。接下来我吐槽下这3家AI模型的创建指令(Prompt)的体验:(注,本文只说指令功能,不说其他)(1)智谱清言智

    标签:
    ai智能
  • 解密Kimi:大模型应用当红顶流是如何练成的?

    抛开营销战,或许在中国也可以探索新的大模型应用聚合方式、供给方式以及商业利润分配的方式,对大模型公司来说,这将是一个新议题。

    标签:
    大模型
  • 讯飞会议耳机登上《新闻联播》,助力AI+办公新潮流全球加速普及

    据4月18日《新闻联播》报道,国务院总理李强在第135届中国进出口商品交易会(广交会)期间,对包括讯飞会议耳机在内的智能硬件出海情况表示关心。生成式AI会议助手,让工作效率翻倍近年来,随着文字、语音、图像等处理能力跃迁,大模型摇身变为“助理”走入办公室和会议室,结合传统软硬件,使得办公和会议智能化。

  • 清华团队国产“Sora”火了 可一键生成1080p高清视频

    近日,生数科技联合清华大学发布了视频大模型「Vidu」,其强大功能引起了全网关注。该模型支持一键生成长达16秒、分辨率达1080p的高清视频内容,画面效果接近Sora。据悉,Vidu生成的视频画面流畅,细节丰富,逻辑连贯,呈现出高度接近真实世界的效果,并且几乎不会出现穿模、鬼影、运动不符合现实规律的

  • 从汽车到汽车机器人,不用再等100年

    ©自象限原创编辑丨程心20世纪50年代开始,世界所有的汽车公司都竞相开发操作简单,功能齐全的理想家庭用车。1950年,全球汽车总产量首次超过一千万辆。价格低廉、驾驶方便、油耗低的百姓汽车广受大众青睐。但从1888年,奔驰生产出世界上第一辆可供售的汽车至1950年,整整经历了60年,家用汽车才开始走向

    标签:
    智能机器人
  • 为何海尔智家能够做到“换新不厌旧”?

    在繁忙的城市角落,张先生的小公寓里藏着一个宝贝——一台20年前的海尔老式彩电。这台电视见证了他的拼搏、快乐和岁月的流转。虽然他对新科技并不感冒,但他的儿子小张对此却充满了好奇和热情。小张在线上看到以旧换新活动的同时,说服了张先生,并在手机上下单预约上门服务。没多久,服务人员便上门拆走旧家电,安装调试

    标签:
    海尔智家
  • 也谈谈AI洗稿

    前几天腾讯发了个公告称:平台巡查发现有些MCN和作者发布大量“AI洗稿”内容。并宣称要对“AI洗稿”行为进行打击,同时鼓励合理运用AI技术。其实我是想借此机会,给大家说说“AI洗稿”这件事,隐秘在黑暗角落里的赚钱行为。“洗稿”就是把别人的文章用AI工具修改润色一下或调整段落,然后再发到自媒体平台上,

    标签:
    ai智能
  • 竞逐智能家居大模型:美的“蓄力”,海尔“疾行”

    随着ChatGPT火热出圈,AI大模型便成为了各行各业必争的高地。

    标签:
    智能家居
  • 李彦宏新目标,押注AI原生应用

    文/道哥“未来,自然语言将成为新的通用编程语言。你只要会说话,就可以成为一名开发者,用自己的创造力改变世界。”4月16日,百度创始人、董事长兼首席执行官李彦宏在Create2024百度AI开发者大会上表述了对未来AI人工智能发展的新一轮展望。自OpenAI发布ChatGPT大模型后,这股AI人工智能

    标签:
    李彦宏
  • AI算力竞赛加速散热技术变革,液冷方案获行业青睐

    进入AIGC时代,智算中心规模日渐庞大,服务器能耗与日俱增。如何降低智算中心能耗已成为国家和地方政府关注的焦点。工信部数据显示,2022年全国数据中心总耗电量约2700亿千瓦时。当前,大部分数据中心仍主要采用风冷散热技术,在单柜密度、PUE值方面已愈发难以满足行业发展及绿色节能方面的要求,而冷板式液

编辑推荐