1. 创业头条
  2. 前沿领域
  3. AI智能
  4. 正文

不止于大模型 英特尔CPU引领智算新高度

 2024-04-01 15:51  来源:互联网  我来投稿 撤稿纠错

  【推荐】海外独服/站群服务器/高防

在算力新时代,从通用计算到智算,CPU可以做更多,价值也更加凸显。

作为一种基于人工智能(AI)技术的计算方式,其含义既包含了AI,还包含了对高性能算力的要求。

拥抱大模型不容易

ChatGPT的横空出世拉开了AI大模型的新时代,而近期的文生视频模型SORA又让业界为之激动不已。据了解,Sora所需token(文本处理最小单位)数量相较于文本及图片模型的推理呈数量级增长。经中信证券简单估算,对于一个60帧的视频(约6至8秒),Sora要生成至少约120万个token,这是相当大的计算量。

科技爆炸的背后需要算力膨胀来匹配,大型AI模型的兴起带来了对智能计算能力的积极需求,于是,我们看到业界在算力基础设施方面进行积极布局,芯片需求得到极大释放,但是现实却有点不尽如人意。

网上信息显示,以OpenAI在GPT-3模型为例,该模型拥有1750亿个参数,需要庞大算力,训练成本高达1650万美元。使用GPT-3开发的ChatGPT在推论方面的成本更高,每月烧掉4千万美元 。这不仅大大增加了企业成本,对地球资源、环境可持续发展性也可能产生影响。

被广泛应用于人工智能的训练、推理、科学计算等领域的GPU似乎成为顶流,并且愈发呈现出“一卡难求”的趋势。但是对于实际的企业AI落地应用而言,真的无法低成本拥抱大模型了吗?业务场景的需求对AI算力要求几何?如何挖掘现有算力潜能?

俗话说,“自古华山一条道”,但是对于算力芯片却不是,特别是对于大语言模型(以下简称:LLM)推理,CPU在某些场景下其实更适合。

为什么选择CPU?

相比GPU,CPU此前在LLM的热度表现并不算高,业界往往认为CPU在AI时代已经“过时”。

但事实并非如此。

大模型通常都分为训练和推理两个阶段,在训练环节需要处理海量数据,因此对算力性能要求较高;但推理阶段不仅几乎贯穿业务全流程,对算力的要求也没有那么高,随着CPU性能的提升,在部分场景下用CPU来完成AI推理工作对企业来说是更加适合的选择。

一方面,CPU资源更容易获取,也不需要导入异构硬件平台,额外进行相关人才的储备,更容易实现广泛部署;另外,充分利用现有IT设施有助于TCO(总体拥有成本)优化,以用更低的成本实现更优的性能表现。

其次,通过分布式的解决方案,能够有效解决CPU计算速度的问题。CPU甚至可以支持几百GB的内存,能够轻松应付甚至70B的LLM ,而且CPU的特性是通用和灵活,以及在软件兼容性方面的多年积累,在承载和部署人工智能应用工作负载方面更具优势。

这就是CPU的破局,选择CPU进行LLM探索逐渐成为企业的新选择。

近年来,随着大模型的迅速发展,光学字符识别(OCR)技术已成为LLM的重要入口。亚信科技就在自家OCR-AIRPA方案中采用了CPU作为硬件平台,实现了从FP32到INT8/BF16的量化,从而在可接受的精度损失下,增加吞吐量并加速推理。将人工成本降至原来的1/5到1/9,效率还提升了约5-10倍。

深耕医疗行业多年,已帮助多家三甲医院推进信息化和数字化建设的卫宁健康就选择与英特尔合作,通过软硬适配、优化模型算法等手段,成功在CPU(第五代至强® 可扩展处理器)上提升了面向医疗垂直领域的大模型WiNGPT的性能,让基于它的AI应用的交付、部署和应用更为高效便捷,能在任何一家已使用卫宁WiNEX系统的医院迅速上岗。

第五代至强® 可扩展处理器每个内核均具备AI加速功能,无需添加独立加速器,即可处理要求严苛的端到端AI工作负载。英特尔® 高级矩阵扩展(英特尔® AMX)为矩阵运算的加速提供了强大支持,可支持BFloat16和INT8两种数据类型,完全有能力处理要求严苛的AI工作负载。

相比同样内置AMX的第四代至强® 可扩展处理器,得益于自身在微架构和整体性能上的提升,五代® 至强的推理性能提升高达42%。

目前,LLM更多是云端部署,但是由于涉及隐私安全,本地部署LLM的需求也越发强烈。针对会议摘要、文章总结等离线场景,百亿参数的LLM就可以完全胜任,CPU的性能就可以运行,成本优势更加明显,还能降低部署成本。

更强通用计算,兼顾AI加速

当然,AI不是只有大模型, 英特尔® 至强® 可扩展处理器除了持续在CPU加速AI这条路上深耕,也一直在持续挖掘CPU在通用计算领域的价值。

与前一代产品相比,第五代英特尔® 至强® 可扩展处理器有高达1.84倍的平均性能提升,可在进行通用计算时将整体性能提升高达21%,并在一系列客户工作负载中将每瓦性能提升高达36%。

例如制造领域在高度精细且较为耗时的瑕疵检测环节,部分企业就复用了既有的CPU平台,构建了横跨“云-边-端”的AI 缺陷检测方案。为了达到更好的应用效果,在使用计算机视觉方案之外,还可以融入深度学习和机器学习的技术,构建三者混合模式的方案。

星环科技则基于第五代至强® 可扩展处理器推出了Transwarp Hippo 分布式向量数据库解决方案,实现了约2倍的代际性能提升,可有效满足大模型时代海量、高维向量的存储和计算需求。

数据作为AI三驾马车之一,其重要性自然不言而喻。除了可用作向量数据库这一种,对于处理数据时候可能涉及的逻辑运算、内存操作,第五代英特尔® 至强® 可扩展处理器也可以提供充足的支持。它可以将压缩/解压缩和数据传输等资源密集型任务从CPU内核卸载至内置的英特尔® 数据分析引擎,释放数据分析和数据库运行的时钟周期,以提高每秒事物处理量,用户可以在每台服务器上扩展容量或运行更多应用。

结合第五代英特尔® 至强® 可扩展处理器更快的内存和更大的三级缓存,英特尔® 存内分析加速器(英特尔® IAA)和英特尔® 数据流加速器(英特尔® DSA)能够在提高查询吞吐量的同时,进行数据复制和转换操作,从而实现内存数据库、大数据分析和数据仓库的性能提升。

AI对隐私计算的需求也在增加,英特尔® 可信域扩展(英特尔® TDX)提供虚拟机(VM)层面的隔离和保密性,从而增强隐私性和对数据的管理。在基于英特尔® TDX的机密虚拟机中,客户机操作系统和虚拟机应用被隔离开来,而不会被云端主机、虚拟机管理程序和平台的其他虚拟机访问。

此外,英特尔还在软件创新方面持续发力,以确保现有的人工智能框架和应用能够充分发挥硬件潜力,从而加速行业的发展。

英特尔提供了完善的人工智能软件生态方案和工具链,不仅持续为主流开源框架PyTorch、TensorFlow等贡献力量,还提供了多种针对英特尔平台的优化插件,如IPEX(Intel® Extension for PyTorch)、ITEX(Intel® Extension for TensorFlow)等,以及xFT(xFasterTransformer)、OpenVINO™ 工具套件等多种优化工具。这些技术可极大地提升AI性能,包括LLM、文字生成图片Stable Diffusion等,未来的热门方向——文字生成视频,同样能够从中受益。

IPEX配合PyTorch,支持PyTorch框架下90%的主流模型,其中深度优化模型有50个以上。客户只要通过简单几步即可完成BF16混合精度转换,模型即可在保持精度的同时在CPU上高效部署。

结语

多年来,英特尔一直不遗余力地进行软硬件创新,为了迎合人工智能时代对算力的渴求,不断推陈出新,提供更加强大、更加先进的CPU处理器和其他硬件方案。

CPU运行LLM并不是“痴人说梦”,因为CPU在进化一直在进行,得益于硬件级创新和借助软件充分挖掘硬件性能,英特尔为AI时代的算力基础设施提供了新的选择机会。

我想客户和市场也是乐见其成的,毕竟这是一个双赢的结果。市场不希望单一的选择,而是多样化的选择。这就像x86的发展一样,开放带来产业的繁荣。

在生成式AI和LLM狂奔的同时,CPU也在与时俱进,让自己适配客户需求和选择。依托软硬件和生态协同,CPU正在迎来新的高光时刻,推动人工智能行业迈向新的高度,展现出无限的潜力与可能性。

申请创业报道,分享创业好点子。点击此处,共同探讨创业新机遇!

相关文章

  • 也谈谈AI洗稿

    前几天腾讯发了个公告称:平台巡查发现有些MCN和作者发布大量“AI洗稿”内容。并宣称要对“AI洗稿”行为进行打击,同时鼓励合理运用AI技术。其实我是想借此机会,给大家说说“AI洗稿”这件事,隐秘在黑暗角落里的赚钱行为。“洗稿”就是把别人的文章用AI工具修改润色一下或调整段落,然后再发到自媒体平台上,

    标签:
    ai智能
  • 竞逐智能家居大模型:美的“蓄力”,海尔“疾行”

    随着ChatGPT火热出圈,AI大模型便成为了各行各业必争的高地。

    标签:
    智能家居
  • 李彦宏新目标,押注AI原生应用

    文/道哥“未来,自然语言将成为新的通用编程语言。你只要会说话,就可以成为一名开发者,用自己的创造力改变世界。”4月16日,百度创始人、董事长兼首席执行官李彦宏在Create2024百度AI开发者大会上表述了对未来AI人工智能发展的新一轮展望。自OpenAI发布ChatGPT大模型后,这股AI人工智能

    标签:
    李彦宏
  • AI算力竞赛加速散热技术变革,液冷方案获行业青睐

    进入AIGC时代,智算中心规模日渐庞大,服务器能耗与日俱增。如何降低智算中心能耗已成为国家和地方政府关注的焦点。工信部数据显示,2022年全国数据中心总耗电量约2700亿千瓦时。当前,大部分数据中心仍主要采用风冷散热技术,在单柜密度、PUE值方面已愈发难以满足行业发展及绿色节能方面的要求,而冷板式液

  • 中国AIGC最值得关注企业&产品榜单揭晓!首份应用全景图谱发布

    “你好,新应用!”站在大模型落地元年,是时候喊出这句话了。从软件APP、智能终端乃至具身智能等等,AIGC开始席卷一切。大模型玩家、互联网巨头、终端厂商、垂直场景玩家纷纷入场,办公、创作、营销、教育、医疗领域相继被渗透……一个万亿市场,正在酝酿。站在浪潮起点,当下发展究竟如何了?机遇在哪?挑战如何?

  • 标准引领促转型 提升新质生产力——2024数字教育标准创新应用研讨会召开

    4月14日,以“标准引领促转型,提升新质生产力”为主题,由全国信息技术标准化技术委员会教育技术分技术委员会主办,锐捷网络承办的2024数字教育标准创新应用研讨会暨《高等学校数字校园建设规范(试行)》(以下简称《规范》)优秀及典型应用案例的颁奖活动在福州举办。本次会议聚焦赋能新质生产力和高校教育数字化

  • 两座超大城市对“视”联手 杭深奏响智能物联产业合鸣!

    春至岭南花似锦,出门俱是看花人。4月16日,2024“中国视谷”城市(深圳)推介会暨智能物联产业合作发展论坛在深圳举行。一场广聚全球英才的产业思想盛宴就像早春的花潮,召示着智能物联产业合作发展的丰硕成果正在孕育、成长。站在时代的风口和机遇中瞭望,智能物联产业是人工智能和物联网融合与应用的战略性新兴产

  • AI提高效率:用智谱清言打造爆款视频号

    关注卢松松,会经常给你分享一些我的经验和观点。(1)想做副业、短视频的同学,看完本文一定对你有所帮助!(2)很多人说2024是视频号红利的一年,有分成收益,广告主也多,流量大。(3)松松一共做了10多个视频号,在视频号布局3年了,几乎啥都做过,有的收益千八百、有的收益1-2k,有的收益3-5k。(4

    标签:
    ai技术
  • CPU上跑AI?从推荐系统的演进看CPU的崛起

    在信息和数据极度繁荣的当下,人工智能正在通过各种方式影响着人类生活。其中,AI推荐系统作为互联网时代最关键的伴生技术之一,正在帮助人类梳理着各种纷繁杂乱的信息,让资源实现更精准的调配,让一切变得井然有序。推荐系统:数字营销的重要引擎当你到一座旅游城市,不知道当地有什么美食时,AI推荐系统在手机上的本

  • 李彦宏放话:百度AI大模型绝不抢开发者饭碗

    关注卢松松,会经常给你分享一些我的经验和观点。昨晚,李彦宏内部讲话称:AI大模型开源意义不大,百度绝不抢开发者饭碗。但你一定要说话算话哦,可千万别说:“我永远不做手机,谁再敢提做手机就给我走人”,结果5年后自己的手机销量排名第一。如果百度也这么干的话估计AI也没人用了。李彦宏认为:从商业模式的角度来

    标签:
    大模型

编辑推荐