1. 创业头条
  2. 前沿领域
  3. 人工智能
  4. 正文

人工智能落地关键:流式推理引擎介绍及对比

 2020-06-24 14:47  来源:互联网  我来投稿 撤稿纠错

  阿里云优惠券 先领券再下单

DarwinML Inference:

DarwinML Inference流式推理引擎是为人工智能平台量身定做的商业化产品。

对于数据科学家而言,它的接口抽象,贴近其思维。不限定底层人工智能框架,给其足够的自由度。对于复杂的模型,支持DAG形式的工作流和数据流同图定义,一目了然且方便后续运营商部署和弹性伸缩。

对于运营商而言,它采用成熟软件栈和微服务架构,从单机到超大规模集群弹性伸缩。它不挑硬件,支持从嵌入式设备、台式机、大型服务器、云端虚拟机和容器乃至商业集群的各种新老硬件平台。它支持对接模型编译、小型化等优化加速技术,提升模型的适应度,提高单位资源的产出。自动批量功能能充分发挥人工智能模型批量计算和底层硬件向量加速的功能,即成倍提升系统吞吐量,又不增加数据科学家和运营商的成本。

对于用户而言,它提供丰富的接入接口,包括通用RESTful到高性能的RPC,支持从Python和Java的SDK。对于低延迟的场景,能提供毫秒级的相应。对于高并发的场景,支持线性在线自动扩容。

MetaFlow:

MetaFlow是Netflix开源的一款旨在帮助数据科学家开发管理其项目的Python库。他侧重于减轻数据科学家在开发、管理数据科学项目时,对非数据科学类其他工程领域的技能要求与投入。使之能关注于数据科学领域。

对于数据科学家而言,MetaFlow提供的编程规范和接口,将人工智能模型及相关处理的流程以工作流的形式组织起来,其他的事情,都由其后端运营商负责。

对于运营商而言,MetaFlow深度集成Amazon AWS,且是当前唯一支持的运营商,对于需要商用甚至调试的场景,都需要自己在AWS里面操作,完成存储、计算、通讯等适配,才能实现人工智能模型的服务化,对接终端用户。此外,MetaFlow里面的工作流,不处理数据流,完全依赖AWS。

对于终端用户而言,MetaFlow只提供了client,用以在python代码级别发起工作流调用。对于商用而言,相对缺少更加便捷丰富的接入方式。

AirFlow:

AirFlow是Airbnb开源的一款工作流系统,它基础功能简单,通过插件的形式支持各种语言和执行端。

对于数据科学家而言,它不是一款专门为期设计系统,需要引用一系列列插件、甚至是开发一些插件,才能完成与数据科学家及其人工智能模型应用的对接。和MetaFlow一样,它的工作流也只是涵盖业务层逻辑,不处理数据流,它通过插件支持各主流云平台,例AWS、Azure、GCP等,也有着和MetaFlow相同的问题,对数据科学家不太友好,比MetaFlow糟糕的是,它的集成相对MetaFlow来说要晦涩且难用。

对运营商而言,AirFlow更像是一个相对专业的底层工作流管理平台,但对于人工智能推理服务,他不是专业的,缺少直接、简单、易用的东西,比MetaFlow更为不及。

对于终端用户而言,AirFlow提供比较丰富的访问接口,相对更友好。

MLFlow:

MLFlow是有Databricks开源的一款机器学习生命周期管理平台,推理服务是其功能之一。

对于数据科学家而言,MLFlow是一个比较简单易用的机器学习平台,在推理服务环节,支持将同平台的模型导出为其标准的格式,例如Python Function、Scikit-learn、pyTorch、Tensorflow等,通过其部署工具,在支持的运行平台服务化。对比其他的推理引擎,其主要的弱势是模型从概念上不是基于工作流的,在构建复杂的中大型模型推理服务的时候,需要数据科学家自己解决工作流的问题。此外,同MetaFlow和AirFlow一样,他也不解决数据流的问题,需要数据科学家结合运营商的运行平台自己解决。

对于运营商而言,MLFlow支持4种部署方式,本地单机部署、Azure、Amazon SageMaker、Apache Spark UDF,但只有本地单机部署支持多种格式,其他云端、集群部署都只支持Python Function格式。这提高了商业化运行时,对数据科学家建模时的格式要求,削弱了MLFlow在建模阶段的优势。

对于终端用户而言,MLFlow只提供了RESTFul接口,在要求大流量、高性能、低延时的场景,还是缺少一些其他的选择。

申请创业报道,分享创业好点子。点击此处,共同探讨创业新机遇!

相关标签
人工智能

相关文章

  • IoT开发者为王,涂鸦智能硬核“靠边站”

    IoT盛宴:涂鸦向下,产品向上

    标签:
    人工智能
  • IPO观察丨黑芝麻智能递表港交所,车芯行业已迈向量产决战期?

    虽然我国汽车芯片行业还处在发展初期,但已经迸发出无限潜力。一方面,智能汽车的发展不断带动需求增长;另一方面,政策引导下,汽车芯片企业持续抢占高地。对此,在7月5日-7日举办的2023年中国汽车论坛上,中国汽车工业协会副秘书长李邵华就做出表示,“中国将成为未来汽车芯片发展的集聚地”。车规芯片行业近日的

    标签:
    人工智能
  • 倒计时2天丨云天励飞将亮相世界人工智能大会

    2023世界人工智能大会将于7月6日至8日在上海举办。云天励飞将在大会上展示自主设计开发的新一代边缘计算芯片DeepEdge10系列SoC芯片,并公布“天书”大模型的最新动态。欢迎莅临上海世博展览馆H1-C801展台参观交流!同时,云天励飞也将与中国电子、中国信通院、华为等合作伙伴,在WAIC的舞台

    标签:
    人工智能
  • 酷学院智能产品发布会:引领中大型企业学习新潮流

    近日,酷学院智能产品发布会在深圳闪亮登场。近200位现场观众和近万人次在线观看,共同见证了这一激动人心的时刻。发布会上,酷学院引领大家探索企业培训学习和人才发展领域的新高度,并揭幕其全新的产品智能升级和突破。酷学院产品负责人徐晨通过形象生动、逻辑严谨的讲述,揭晓了全新的智能企业培训和人才发展平台,以

    标签:
    人工智能
  • 青少年在科创新活动中受益:人工智能教育开启未来的可能性

    随着人工智能技术的快速发展,各行各业都受到了深刻影响,特别是中小学人工智能教育的普及,已经成为当今不可忽视的重要课程。ChatGPT等人工智能技术的出现,让我们看到了人工智能将成为未来推动科技跨越发展、生产力整体跃升的重要驱动力量之一。在这个背景下,中小学教育已经将人工智能作为重要学习内容,并将科技

    标签:
    人工智能
  • 大模型抢滩高考志愿填报,能否顶替「张雪峰」们?

    文/二风来源/节点财经每年高考成绩放榜后,数千万考生和家长将迎来另一场硬仗——填报志愿。今年,这一领域迎来了AI的全面介入,多家互联网大厂和教育公司纷纷推出智能志愿填报产品,为考生提供院校和专业选择建议。据艾媒咨询数据,2023年中国高考志愿填报市场付费规模约9.5亿元,近九成考生愿意借助志愿填报服

    标签:
    大模型
  • 苹果AI掉队?现在唱衰或许还为时过早

    苹果还没从WWDC25的“群嘲”中走出,又迎来了一次新的痛击。据路透社报道,21日,苹果公司遭到股东集体起诉,被指在信息披露中低估了将先进生成式AI整合进语音助手Siri所需的时间,导致iPhone销量受影响、股价下滑,构成证券欺诈。在这份诉讼中,库克、首席财务官凯文·帕雷克及前首席财务官卢卡·马埃

  • DeepSeek、豆包向左,盘古大模型向右

    华为的盘古大模型终于推出新版本了。6月20日华为云计算CEO张平安宣布基于CloudMatrix384超节点的新一代昇腾AI云服务全面上线,盘古大模型5.5同步发布。不过,当前国内的AI大模型竞争可谓是相当激烈,华为的盘古大模型在众多大模型中并不是十分出众。华为云此次重磅推出的盘古大模型5.5能否从

  • 数字人罗永浩一场直播卖了5000万,数字人能取代真人主播吗?

    一场没有罗永浩的“罗永浩直播”,正在改写带货规则当数字人罗永浩在百度直播间举起青岛啤酒,以标志性幽默回应粉丝提问时,弹幕疯狂刷出“这是真的还是假的?”的疑问。这场持续近7小时的直播,创下1300万人次观看、GMV突破5500万元的惊人战绩,甚至超过了他本人一个月前真人直播5000万元的成绩。数字人主

  • 新东方发布首款原创AI教育产品,开启一对一智能学习时代

    高频互动、个性化教学、突破成本壁垒,AI老师让英语学习更普惠。6月24日,新东方正式推出面向消费者的首款原创AI教育产品——“新东方AI1对1”。这款产品标志着新东方在教育+AI战略布局中迈出关键一步,旨在以科技力量推动优质教育资源的普惠发展。在发布会现场,新东方教育科技集团CEO周成刚表示:“AI

    标签:
    ai智能
  • AI工作流是什么?coze扣子工作流怎么搭建和使用?

    大家好,我是白杨SEO,专注SEO十年以上,全网SEO流量实战派,AI搜索优化研究者。为什么想分享这个AI工作流及coze扣子这个?因为我们搞流量的如果学会了用AI给我们生产提效将更有助于我们去获客。目前白杨SEO用得并不是很好,分享仅供参考,希望给你一些启发。老规矩,先说下文章大纲如下:1、AI工

    标签:
    ai智能

编辑推荐