1. 创业头条
  2. 前沿领域
  3. AI智能
  4. 正文

人工智能落地关键:流式推理引擎介绍及对比

 2020-06-24 14:47  来源:互联网  我来投稿 撤稿纠错

  一键部署OpenClaw

DarwinML Inference:

DarwinML Inference流式推理引擎是为人工智能平台量身定做的商业化产品。

对于数据科学家而言,它的接口抽象,贴近其思维。不限定底层人工智能框架,给其足够的自由度。对于复杂的模型,支持DAG形式的工作流和数据流同图定义,一目了然且方便后续运营商部署和弹性伸缩。

对于运营商而言,它采用成熟软件栈和微服务架构,从单机到超大规模集群弹性伸缩。它不挑硬件,支持从嵌入式设备、台式机、大型服务器、云端虚拟机和容器乃至商业集群的各种新老硬件平台。它支持对接模型编译、小型化等优化加速技术,提升模型的适应度,提高单位资源的产出。自动批量功能能充分发挥人工智能模型批量计算和底层硬件向量加速的功能,即成倍提升系统吞吐量,又不增加数据科学家和运营商的成本。

对于用户而言,它提供丰富的接入接口,包括通用RESTful到高性能的RPC,支持从Python和Java的SDK。对于低延迟的场景,能提供毫秒级的相应。对于高并发的场景,支持线性在线自动扩容。

MetaFlow:

MetaFlow是Netflix开源的一款旨在帮助数据科学家开发管理其项目的Python库。他侧重于减轻数据科学家在开发、管理数据科学项目时,对非数据科学类其他工程领域的技能要求与投入。使之能关注于数据科学领域。

对于数据科学家而言,MetaFlow提供的编程规范和接口,将人工智能模型及相关处理的流程以工作流的形式组织起来,其他的事情,都由其后端运营商负责。

对于运营商而言,MetaFlow深度集成Amazon AWS,且是当前唯一支持的运营商,对于需要商用甚至调试的场景,都需要自己在AWS里面操作,完成存储、计算、通讯等适配,才能实现人工智能模型的服务化,对接终端用户。此外,MetaFlow里面的工作流,不处理数据流,完全依赖AWS。

对于终端用户而言,MetaFlow只提供了client,用以在python代码级别发起工作流调用。对于商用而言,相对缺少更加便捷丰富的接入方式。

AirFlow:

AirFlow是Airbnb开源的一款工作流系统,它基础功能简单,通过插件的形式支持各种语言和执行端。

对于数据科学家而言,它不是一款专门为期设计系统,需要引用一系列列插件、甚至是开发一些插件,才能完成与数据科学家及其人工智能模型应用的对接。和MetaFlow一样,它的工作流也只是涵盖业务层逻辑,不处理数据流,它通过插件支持各主流云平台,例AWS、Azure、GCP等,也有着和MetaFlow相同的问题,对数据科学家不太友好,比MetaFlow糟糕的是,它的集成相对MetaFlow来说要晦涩且难用。

对运营商而言,AirFlow更像是一个相对专业的底层工作流管理平台,但对于人工智能推理服务,他不是专业的,缺少直接、简单、易用的东西,比MetaFlow更为不及。

对于终端用户而言,AirFlow提供比较丰富的访问接口,相对更友好。

MLFlow:

MLFlow是有Databricks开源的一款机器学习生命周期管理平台,推理服务是其功能之一。

对于数据科学家而言,MLFlow是一个比较简单易用的机器学习平台,在推理服务环节,支持将同平台的模型导出为其标准的格式,例如Python Function、Scikit-learn、pyTorch、Tensorflow等,通过其部署工具,在支持的运行平台服务化。对比其他的推理引擎,其主要的弱势是模型从概念上不是基于工作流的,在构建复杂的中大型模型推理服务的时候,需要数据科学家自己解决工作流的问题。此外,同MetaFlow和AirFlow一样,他也不解决数据流的问题,需要数据科学家结合运营商的运行平台自己解决。

对于运营商而言,MLFlow支持4种部署方式,本地单机部署、Azure、Amazon SageMaker、Apache Spark UDF,但只有本地单机部署支持多种格式,其他云端、集群部署都只支持Python Function格式。这提高了商业化运行时,对数据科学家建模时的格式要求,削弱了MLFlow在建模阶段的优势。

对于终端用户而言,MLFlow只提供了RESTFul接口,在要求大流量、高性能、低延时的场景,还是缺少一些其他的选择。

申请创业报道,分享创业好点子。点击此处,共同探讨创业新机遇!

相关标签
人工智能

相关文章

  • AI一出手,全球网站都慌了

    这可能是互联网诞生以来,因为PHP漏洞引起发到一张全球末日危机,全球70%的网站面临着被攻击的风险。事情是这样的:8月,有人接触OpenAI模型审查PHP代码的时候发现了两个严重漏洞,这两个漏洞会允许在不用登录的情况下,远程执行服务器上的代码。。靠人工很难发现,但AI很快就定位到了。本来PHP开发团

  • 国家队入局背后,无人配送两强的路线分野

    行业还在早期,窗口远未关闭。九识能否用双品牌协同跑出独立增长曲线,新石器能否用多边网络兑现规模化盈利,答案都会在未来两到三年揭晓。近4亿美元,约26.7亿元人民币。2026年10月20日,新石器宣布完成E轮近4亿美元融资,创下今年国内自动驾驶领域最大单笔融资纪录。值得注意的是,本轮投资方中出现阿里巴

  • 微亿智造招股:从理解世界到改造世界,加速工业物理AI商业化

    AI的下一站,是物理世界。黄仁勋曾说,AI的下一个浪潮是物理AI。“AI教母”李飞飞发长文判断“空间智能是AI的下一个前沿”。站在AI最前线的人都相信,大模型不能只停留在屏幕里理解世界,得进入物理世界,动手改造世界。从街道上的车流,到车间的产线,哪里才是物理AI率先兑现商业价值的地方?工业。工厂环境

  • 分区、平嵌、节能精准满足欧洲,海尔AI洗护方案1-8月持续领跑

    欧洲是滚筒洗衣机的发源地,也是全球市场的桥头堡。在当地,一台光能洗净的洗衣机不再是“加分项”,而仅仅是市场的“入场券”。面对家庭结构、市场环境的变化,如今在欧洲,什么洗衣机卖得好?据GfK中怡康数据显示,2026年1-8月欧洲市场,海尔洗衣机份额达15.8%,位居中企第一,销量销额均实现增长。在细分

  • 同样是录音转写,豆包工作顺手帮我把稿子写完了!

    做媒体这些年,采访是我最头疼的事情。采访本身要花时间,采访完还要去整理采访素材,更别说后面还要写稿——这里要花费的时间和精力,往往是采访工作的双倍,甚至更多。虽说现在市面上的录音软件、录音设备很普遍,但是实际用下来都不尽如人意。录音素材导出导入、录音转写、内容整理、提炼重点、内容创作等每一道环节都很

  • 科技兴商来了,具身智能即将进入估值换锚时刻

    具身智能商业化落地的东风来了。先是海外OpenAI宣布入局具身智能行业,然后国内,商务部等9部门对外公布《关于加快推进科技兴商的意见》。其中明确提出,要“丰富智能手机、电脑、家居、穿戴设备、机器人等智能商品供给”。言下之意,接下来“机器人”与手机、电脑并列,归类为面向消费市场的商品。市场端很快就有了

  • AI手机不缺AI,缺的是一个能接管手机的Agent

    100天不长不短,阶跃星辰董事长印奇许下的百日之约,终于兑现了。简单回顾下,3个月前,阶跃一口气发布了大模型原生AI终端品牌STEPX首个智能体原生操作系统StepAOS、个人智能体阶跃Amoo、亮相了自主研发的首台智能体手机。10月13日,STEPXNeo终于拖家带口正式发布。用很多人的话来形容,

  • 营收两年增长近10倍,九章云极已走到智算新云赚钱门口

    过去两年,全球AI基础设施市场形成了一条被美股财报反复强化的隐含假设:做NeoCloud、做智算新云,就要先接受“收入高增、净利润深亏”。CoreWeave2026年二季度收入25.75亿美元、同比翻倍,但GAAP净亏损仍达6.26亿美元;Nebius同期收入5.82亿美元、同比增454%,调整后E

  • 排名之外,AI公司真正要交什么成绩单?

    2026年,港股AI公司明显多了起来。港交所披露,2025年12月初至2026年5月底,AI价值链企业IPO募资达到979亿港元,约占同期港股新股募资总额的55%。从大模型、算力芯片,到企业软件、医疗科技,越来越多AI公司开始进入港股视野。一个市场要获得重新定价,首先需要新的优质资产。过去市场谈港股

  • AI时代的消费投资机会:品牌穿越周期要控制买量、回归货架

    文/庄帅9月22日,北大国发院在《AI时代下的品牌创业创新》CBI消费公开课上,披露了最新的CBI品牌指数(中国线上消费品牌指数),为当前AI与硬科技主导的投资方向提供了一个新坐标:消费投资永不过时,只是参照系和评估指标有了一些新变化。课题组最新研究发现,在同一行业中,CBI品牌指数越高、榜单表现越

热门排行

编辑推荐