当前位置:首页 >  科技 >  互联网 >  正文

24GB显存跑125B模型:开源项目Strata把本地部署大模型的门槛压下来了

 2026-10-05 11:08  来源: 互联网   我来投稿 撤稿纠错

  一键部署OpenClaw

A5站长网10月5日消息,一个叫Strata的开源项目上了Hacker News首页,617分、289条评论,代码仓库星标约1.12万。它要做的事一句话能说完:把1250亿参数的Qwen3.8-Flash-Next跑在消费级显卡上,速度冲着每秒100个token去。

先解释这件事为什么看起来不可能、实际却成立。Qwen3.8-Flash-Next用的是混合专家架构,总参数1250亿,里面装了512个专家;但每个token只激活10个路由专家加1个共享专家,实际参与计算的约60亿参数。稀疏激活省的是算力,不是显存——下一次路由可能点到别的专家,所以所有专家都得在场待命。

Strata的办法是把整台电脑当一个存储层级用。显存放共享组件、草稿层、注意力缓存和最常用的专家;内存放完整的专家池;CPU负责计算没被缓存的专家;SSD补上大表和模型数据。专家缓存相当于一个工作集,话题变了,缓存跟着换。这也是为什么在这个负载下,显存够不够比显卡快不快更要紧。

实测数字来自社区。在RTX4090配i9-13900K和64GB DDR5的机器上,IQ2_XS档跑出106.1token/秒、IQ3_XXS档98.1token/秒,统计的是完整请求、含模型的思考过程,短对话峰值能到115和120。门槛比想象中低:12GB显存、32GB内存、约80GB磁盘就能起步。换别的卡,RTX5070是53到94,RX9070XT是44到60。

代价得说清楚。为了塞进消费级硬件,用的是2到3位的量化版本,质量损失真实存在——编程类任务多数用户认为够用,视觉和长尾任务会出现退化。拿2位量化的结果去对齐托管的前沿模型,这个比较本身不成立。另外首次启动会预占35到55GB内存,系统会卡顿一两分钟。

Strata还暴露了一个正在变化的分工。它在本机暴露OpenAI与Anthropic兼容的接口,也就是说Claude Code、Codex这类工具可以把它当本地后端用,聊天、编程、图片理解、智能体流程都留在自己机器上。本地部署的门槛压下来之后,大模型推理越来越像一道软件工程题,而不是单纯的硬件题——同一张卡,换个推理引擎,能跑的模型规模和速度就差出一个量级。

申请创业报道,分享创业好点子。点击此处,共同探讨创业新机遇!

相关标签
ai技术

相关文章

  • OpenAI安全团队人事震荡:一位负责人辞职,三位研究员被解雇

    A5站长网10月5日消息,OpenAI安全系统团队负责人大卫·罗宾逊辞职。他此前负责的一项重要工作是撰写系统卡——每款主要产品发布前,说明模型能力边界、局限和风险的那份公开文档。他随后发表公开文章,把矛头指向了公司长期采用的迭代部署方式,以及这套做法背后的企业文化。在那篇发表在《大西洋月刊》的署名文

    标签:
    ai技术
  • DeepSeek把昇腾950的通信带宽测出来了:EP8下每卡373GB/s

    A5站长网10月5日消息,DeepSeek开源了面向华为昇腾平台的一整套组件,包括TileLang高级语言、DeepGEMM矩阵运算库、DeepEP通信库、TileKernels、FlashMLA稀疏注意力和DeepSelect六个项目。和英伟达版本一一对应,这是它自己训练V4系列模型时在用的那套底

    标签:
    ai技术
  • Meta把Muse的硬件代码开源了,拿块ESP32就能自己造设备

    A5站长网10月3日消息,Meta开源了MuseGadgets项目,把连接自家AI智能体Muse的硬件开发套件放了出来。按Meta的说法,Musegadgets是自己动手做的开源设备:用官方提供的ESP32固件和LinuxSDK,把一块现成的开发板接到显示屏、按钮、传感器或执行器上,就能让Muse在

    标签:
    ai技术
    ai智能
  • DeepSeek开源昇腾版TileLang:训练里的每个算子都有昇腾实现

    A5站长网10月2日消息,DeepSeek宣布开源面向华为昇腾算力平台的基础设施组件,其中打头的是TileLang高级语言编译工具的昇腾版,同时放出的还有计算库与分布式通信库。DeepSeek的说法是,这批组件与它此前为英伟达平台开源的组件一一对应,昇腾这边的开发者拿到的是一套对称的工具,而不是另外

    标签:
    ai技术
  • GitHub Copilot开始操作桌面软件,公测阶段要用户逐次批准

    10月1日,GitHub把computeruse放进了公开预览,覆盖CopilotCLI与GitHubCopilot桌面应用,平台是macOS与Windows。能力描述得很直白:Copilot可以读取应用里可访问的内容与视觉上下文,点击控件、输入和编辑文本、按键、滚动、拖拽,跨应用走完一整套工作流。

    标签:
    computer
    use
    ai技术

热门排行

信息推荐