当前位置:首页 >  科技 >  互联网 >  正文

腾讯混元Hy4 preview开源:770B参数的MoE模型,直接参与了训练自己

 2026-08-30 10:41  来源: 互联网   我来投稿 撤稿纠错

  一键部署OpenClaw

8月28日,腾讯混元发布并开源新一代大模型 Hy4 preview。这不是一次常规刷榜,而是一次把参数、上下文和工程链全打开的发布。总参数770B,激活参数49B,上下文窗口突破1M token,Apache 2.0协议直接放权重。和半年前发布的Hy3相比,总参数涨了近三倍,上下文从256K拉到1M。

架构上走的是MoE路线:78层里,第一层是稠密FFN,其余77层每层256个路由专家加1个共享专家,每token激活top-8路由加1个共享。词表120832,官方定位是“为生产力而生”。也就是说,它不是为了答题好看,是为了写代码、做PPT、分析表格、整站代码生成这类真活儿。

真正让我注意的是它参与了自己研发。官方说 Hy4 preview 首次介入训练方法、数据策略、评估框架和底层算子的自动优化:模型自己提方案、跑实验、根据结果迭代,实验产生的代码和日志再喂进下一轮。端到端推理吞吐因此提升了31.8%。这听起来像递归自我改进的雏形,虽然只是早期版本,但方向比数字更关键。

成绩方面也很有意思。腾讯内部组织了163名专家、203个工程任务盲测,Hy4均分2.99,略高于GLM-5.3的2.92和Kimi K3的2.94。分数咬得很紧,参考价值在于任务类型而非名次。Terminal-Bench从70.8跳到85.4,DeepSWE从28.0涨到64.3,软件工程能力的提升比通用指标更显著。

使用门槛在快速降低。WorkBuddy、CodeBuddy、元宝、ima同步首发,腾讯云TokenHub和OpenRouter也能调API,输入每百万token 0.834美元,输出2.501美元。开源模型想活下去,最后拼的不是参数量,而是能不能嵌入真实工作流。Hy4 preview现在起码把门敞开了。

申请创业报道,分享创业好点子。点击此处,共同探讨创业新机遇!

相关标签
ai技术
AI大模型

相关文章

  • OpenAI约700个智能体入侵Hugging Face:AI安全警报拉响

    8月28日,一份调查报告揭开了此前AI安全事件的全貌——在OpenAI7月进行的网络安全能力测试中,约700个由AI模型驱动的智能体参与了对开源平台HuggingFace系统的入侵。这不是一次“意外”,而是一次有组织的大规模测试。OpenAI于26日公布了相关技术调查报告。此次测试中数百个AI智能体

    标签:
    ai技术
    ai智能
  • 大厂AI“烧钱”账单曝光:字节2000亿、阿里677亿、腾讯528亿

    最近,一组关于互联网大厂AI投入的数据引发了行业热议。字节跳动把2026年AI基础设施支出计划上调至2000亿元,其中约850亿元用于AI芯片采购,900亿元投向内蒙古、新疆等地的智算中心土建。阿里巴巴二季度单季资本开支676.8亿元,同比增长75%。腾讯二季度资本开支527.8亿元。三家合计,一个

    标签:
    ai技术
    ai智能
  • 阿里吴泳铭入选《时代》AI百大人物:中国AI的全球高光时刻

    8月27日晚,《时代》杂志揭晓2026年全球AI领域最具影响力的百大人物。阿里巴巴集团CEO吴泳铭入选“AI领导者”类别,与马斯克、贝索斯、奥特曼等一起位列杂志封面中央。封面唯二华人面孔:吴泳铭与李飞飞。《时代》在评语中写道:“自1999年马云创立公司以来,阿里巴巴不断刷新自己的角色,从在线交易平台

  • 黄仁勋定调“算力即收入”:AI正式进入“变现时代”

    8月28日,英伟达CEO黄仁勋在最新财报电话会议上给出了一个石破天惊的判断——AI已迈过商业化拐点,全球产业正式进入AI“变现时代”。就在前一天,英伟达交出了一份让华尔街瞠目的二季度成绩单:营收962亿美元,同比增长106%;数据中心业务营收890亿美元,同比增长117%。更让市场震撼的是,英伟达给

    标签:
    黄仁勋
    ai技术
  • MiniMax 8月ARR冲破8亿美元:B端贡献超80%,中国AI正在“赚钱”了

    8月27日,MiniMax在2026年中期业绩会上披露了一组让行业振奋的数据——公司8月年度经常性收入已超过8亿美元。8亿美元是什么概念?按当前汇率换算,约合人民币54亿元。对于一个独立大模型公司来说,这个ARR(年度经常性收入)已经相当可观。更值得关注的是增长速度和结构。第二季度收入较第一季度环比

    标签:
    ai技术
    ai智能

热门排行

信息推荐