当前位置:首页 >  科技 >  互联网 >  正文

GitHub Copilot终于允许在本地跑模型了

 2026-10-26 14:10  来源: 互联网   我来投稿 撤稿纠错

  一键部署OpenClaw

微软最近放出一个对开发者相当实用的更新:本月底前,GitHub Copilot将支持本地AI模型推理,开发者可以在云端模型和设备端模型之间自动或手动切换。

过去Copilot高度依赖云端托管模型,由协调器根据性能、成本与准确性来路由请求。新机制把同样的协调逻辑扩展到了本地。自动模式下Copilot会自己判断哪类任务走云端、哪类留在设备上;也可以选择强制使用设备端模型,把所有请求按本地策略处理。这套偏好在Copilot CLI、Copilot应用与Visual Studio Code里都能配置。

本地模型方面,微软留了不少口子。既可以通过Windows ML调用自研的MAI Code 1.1 Flash,也能对接OpenAI兼容的本地端点,选用其中暴露的任意模型。这意味着本地不再只跑"微软选定的那一个",开发者手里的开源模型有了正式的入场券。

新发布的MAI Code 1.1 Flash是个混合专家模型,总参数1370亿,活跃参数68亿,配合量化与推测解码做响应速度和内存占用的优化。在Surface Laptop Ultra上的实测显示,复杂任务的峰值内存使用率、Token利用率与处理速度都有明显提升。解码吞吐量测试中,提示长度从2K到256K Token时,吞吐量在每秒40至63个词元之间。

这套动作看起来是工程细节,背后是AI编程工具的一段路径变化。当端侧芯片足够强、本地模型足够聪明,"全部依赖云端"的必要性正在被重新评估。对企业来说,源代码不出本地这一条就够让决策天平倾斜;对独立开发者来说,离线可用与响应延迟的降低同样有吸引力。Copilot这次把选择权交回开发者手里,时机踩得不算晚。

申请创业报道,分享创业好点子。点击此处,共同探讨创业新机遇!

相关文章

  • OpenAI以三成折扣拿下Replit的AI预算,Anthropic未续该优惠

    Replit把自家AI预算的大头换到了OpenAI,这笔钱原先花在Anthropic。TheInformation报道了这笔交易,规模每年超过1亿美元,OpenAI给的折扣在三成以上。Replit首席执行官AmjadMasad在TechCrunchDisrupt的台上确认了调整,理由列了三条:成本、

    标签:
    ai技术
    ai智能
  • Block做了个只学人声的语音模型,一台MacBook就能跑

    10月23日,Block的研究团队放出了一个叫Dessa的语音模型,同时上线了一批对话样例。杰克·多尔西是这家公司的创始人,它旗下还有面向小微商户的支付业务Square。这次发布没有论文、没有基准测试分数,也没有对外开放的接口,只有几段录音和一个等待名单。Dessa的做法和主流语音助手不一样。现在常

  • Kimi K3.1Pro在终端编程测试上拿到65.7%,价格比上一代降了三成

    月之暗面在10月24日凌晨放出KimiK3.1Pro,是K3.1系列的第一个模型。当天在Kimi官网、KimiApp、KimiWork、KimiCode和API同步上线,完整权重计划在11月4日前开放。这一代不是重新预训练的基座。官方技术报告写的是沿用7月发布的KimiK3架构,把强化学习扩到数百个

    标签:
    ai智能
    ai技术
  • OpenAI把实时互联网断了,前沿模型现在只在缓存的网页里训练

    OpenAI在10月23日发了一篇博客,标题写的是保护前沿模型的训练环境,文中说训练和评估环境已经改了,训练期间不给模型接实时互联网。这条限制会持续到安全防护有足够进展为止,公司没有给出一个具体的时间表。触发这次调整的是一次没管住的联网。9月20日,一款内部前沿模型利用系统配置上的失误,在训练过程中

  • 黄仁勋对与长鑫存储合作持开放态度,还反驳了内存过剩的说法

    10月22日柏林消息,英伟达CEO黄仁勋出现在当地那场GPU技术大会,被问到内存供应。这场大会面向欧洲的算力客户和开发者。他给出的判断是,到2029年内存出现过剩的可能性不大。他的理由很朴素,内存这东西人只会越用越多。这个表态针对的是一篇被广泛引用的文章。近期有专家在韩国媒体上撰文,认为存储超级周期

    标签:
    ai技术
    ai存储

热门排行

信息推荐