文|智能相对论
作者| 叶一城
野火燎原,openAI搞出的chatGPT大有当年alphaGo的架势,搅动整个AI业界春心荡漾。
从openAI的大金主微软,到昔日明星alphaGo的爸爸Google,都火急火燎地要出来表态——前者要彰显主权并在内部全面应用,后者作为全球AI领头羊怎么能失了对称的地位,要发布对应的产品。
国内科技圈自然也发扬了闻风而动的优良品格,在元宇宙概念疲软后,有关的没关的都纷纷贴上来。股市上各种妖魔鬼怪横行,对于上涨,某些董秘的回复中,否定或许还带着捡漏的窃喜。
而“AI大户”百度在宣布发布类似的产品“文心一言”后,股价也立刻上涨。
股民们冤不冤?这次可能不太冤,因为就“中国版ChatGPT”而言,不管腾讯、阿里怎么站位的,某种程度上百度确实最有技术资格,也最能从ChatGPT的落地应用中获得现实的商业价值。
判断谁能在技术的风口上占便宜,第一步永远是先看技术的本质。
ChatGPT从产品形态上,是“一个使用自然语言处理技术实现和人类互动对话的产品”,而其内在本质,就是一个预训练大模型。所谓“大”,就是在巨量到一般人无法想象的数据训练下拥有庞大的参数规模,因为“大”而见识多,博学多才,任何领域都懂,只要稍微调教一下就能出产特定场景的应用。
ChatGPT并不是一次性发展而来的,其属于openAI的一系列预训练模型,所谓GPT,即Generative Pre-Trained Transformer,就是通过Transformer为基础模型,使用预训练技术得到通用的文本模型。从已经公布的论文看,从2018年起,GPT家族已经先后拥有GPT-1,GPT-2,GPT-3,以及图像预训练iGPT等模型,而目前火得一塌糊涂的ChatGPT,更像是一个GPT-4之前的过渡版本GPT-3.5,因为强大的对话能力突然爆火起来。
不同的是,ChatGPT采用了新的指示学习(Instruction Learning)和人工反馈的强化学习(Reinforcement Learning from Human Feedback,RLHF)来指导模型的训练,前者为ChatGPT带来理解能力,后者通过人工标注反馈的方式来增强模型的效果,实现GPT的进化。
在一系列进化下,ChatGPT的参数总量与GPT-3一致,达到了1750亿,实现了从GPT-2的15亿的跳跃。
说到底,ChatGPT就是一个积累已久、有着特殊训练方式的大模型,它的发展是有技术进化路线的。
而“巧合”的是,百度大力投入的产业级知识增强文心大模型ERNIE,具备跨模态、跨语言的深度语义理解与生成能力,其技术演进几乎走出了同样的进程。
早在2019年3月,百度就做出了文心 ERNIE 1.0,这一技术创新与“同类”GPT-1、BERT的差距都只有几个月,而且百度积累的大规模知识和海量多元数据,让文心得以快速发展——搜索业务给大模型所需要的庞大数据训练量带来了天然的便利。
例如,在文心的发展过程中,2021年,ERNIE 3.0大模型即拥有千亿参数;与超强算力方联合的鹏城-百度·文心作为一款融合了自然语言理解和自然语言生成的大模型,其参数量达到了2600亿,相对GPT-3和ChatGPT提升了50%。
去年9月,百度CEO李彦宏判断人工智能发展在“技术层面和商业应用层面,都有方向性改变”。据推测,百度那时候就开始做文心一言。
除了参数规模扩大、能力增强,文心与ChatGPT一样,也在适应不同需要进行技术进化。目前文心大模型总量已经有36个,以其中的知识增强轻量级大模型ERNIE 3.0 Tiny为例,该模型能够通过多任务知识蒸馏手段将千亿多任务大模型的所学迁移至轻量级模型中,训练了10亿级、亿级、千万级不同体量大小的轻量级大模型,实现了优秀的泛化能力。
回过头来看,百度在技术上一直在做与GPT相同的事,但是晦涩的技术决定了它始终缺乏足够的曝光度,直到大洋彼岸的ChatGPT突然搞出了“大新闻”,举起了旗帜,于是,这就成了百度彰显自身技术能力的契机。
从GPT-3到ChatGPT,与从“文心”到“文心一言”(英文名ERNIE Bot)的命名方式,也“惊人巧合”——原本就是一样的技术迭代过程罢了,百度之所以3月就能马上做出来,甚至按目前的节奏内测还可能提前,原因就在于ChatGPT要的那些技术百度都有,产品上再加入对话算法等,很快就能对齐。
至少在NLP领域,目前国内还没用企业能够看齐百度。
而在现实价值方面,实际上ChatGPT做的各种对话、各种辅助功能,都与百度的业务线较为契合,无论是内部的搜索+信息流,还是对外提供的诸如智慧城市等B端解决方案中,都能得到很好的利用。
尤其是,AI与搜索的契合一直是百度近些年的努力方向,以传统精确搜索为主、“文心一言”的工具型搜索为辅的方式,也更符合未来搜索的形态。
当然,其他辅助的,比如芯片(算力相关)、开发框架(飞桨),百度也都有成熟的“基建配套”了,
不过,百度面临的问题还是那个老生常谈的话题:能不能持续投入下去,等待真正的商业价值回报?毕竟,ChatGPT吹得再响,现实的问题肯定少不了,得有一个成熟的过程。
说白了,在没有进入强人工智能时代,ChatGPT再厉害其本质也只是“小孩学舌”,学得更多当然就更像,但也只是“知其然不知其所以然”。
这不是说小孩学舌就没有用,能够学起来很像、能解决一些问题,价值也很大。只不过,带过孩子的都知道,小孩学舌在面临认知问题时,会出现很多逻辑尴尬。
目前ChatGPT在一些对话上就出现了这个问题,例如解一道简单的数学题,能给你扯一大堆,但结果就是不对。又例如很多专业领域的会话,和官样文章一样看似内容很多、逻辑严密,但就是言之无物。
一些程序界大佬惊呼ChatGPT的健壮性远超人类,要开除外包程序员,实际危言耸听。所谓健壮性无非就是设定规则的执行,就像数数,人从0数到300,肯定容易出错,机器数,当然就不会出错,没啥好惊奇的。
无论如何,ChatGPT还有一些路要走,最有资格也最能得益的百度,在风潮面前仍然要咬牙继续坚持才好,这其中的投入或许会更大。
*本文图片均来源于网络
此内容为【智能相对论】原创,
仅代表个人观点,未经授权,任何人不得以任何方式使用,包括转载、摘编、复制或建立镜像。
部分图片来自网络,且未核实版权归属,不作为商业用途,如有侵犯,请作者与我们联系。
•AI产业新媒体;
•澎湃新闻科技榜单月度top5;
•文章长期“霸占”钛媒体热门文章排行榜TOP10;
•著有《人工智能 十万个为什么》
•【重点关注领域】智能家电(含白电、黑电、智能手机、无人机等AIoT设备)、智能驾驶、AI+医疗、机器人、物联网、AI+金融、AI+教育、AR/VR、云计算、开发者以及背后的芯片、算法等。
申请创业报道,分享创业好点子。点击此处,共同探讨创业新机遇!
近两年来,国家社会逐渐重视职业教育的发展与教育涉及的领域范围,职业教育紧密联结产业和就业,现如今的国民教育体系已成为建设实力强国的重要组成部分。教育不仅可以助力经济社会发展、促进就业创业、增进人民福祉,还在优化高质量教育体系、推动国际交流合作等方面承担着重要作用,因此教育也始终与国家命运和家庭幸福紧
近日,由人像摄影杂志社主办的“第二届人像摄影青年摄影师大赛”(以下简称“青摄赛”)已经正式开启赛事评选工作,吸引了广大青年摄影师的目光。而像素蛋糕AI修图作为赛事的指定官方合作伙伴,为广大参赛者们提供后期修图的技术支持。《人像摄影》杂志创刊于1983年,是由国务院国资委举办的,立足人像摄影行业的艺术
语言是人类进行沟通交流的表达方式,其储存着丰富的文化信息,传承着民族血脉,也支撑着文明的发展与演进。然而,一些少数民族语言、方言却正在无声无息地消失,与之密切相连的地域文化、历史文化也正面临濒危风险。“大约平均两周就会有一种语言消亡“,联合国教科文组织的这一调查数据让人触目惊心,且世界上正在使用的约
仰观宇宙之大,俯察品类之盛。万里之外,数千颗人造卫星正运行在既定空间轨道上,极大推动了遥感技术的发展。同时,随着AI技术的持续深入,如何利用深度学习实现遥感影像的智能解译意义重大。通俗来讲,遥感是一种无接触的远距离探测技术,可对目标信息进行获取、传输、记录、存储、处理、应用等等。遥感影像智能解译是通
近日,竹间智能公司宣布与中科曙光和智谱AI公司建立战略合作关系,以促进通用人工智能在企业落地的发展,进一步推动人工智能技术的应用和商业化。在此次合作中,三家公司将携手共同探索人工智能技术的应用,并通过共享资源,提高算力和大语言模型的商业化能力,以及通过验证不同行业的应用案例,加速人工智能在企业落地的
想象这样的场景,以后使用手机或者电脑,不用自己动手操作,只要动动嘴,智能助手就可以自动帮我阅读我关注的新闻,回复各类消息,甚至辅助我完成工作上的事情,当然可能也会抢了我的工作,不得不感慨,未来已来。
沃斯联合研究中心”,并约定在光电传感器、智能算法、机器人平台等技术领域展开研究,推动科研与产业的深度融合,服务国家创新驱动发展战略及科沃斯重大需求。双方将联合培养专业学位博(硕)士研究生,共建相关技术领域博士后工作站;科沃斯将为华中科技大学搭建校外实习实践平台,接收硕博短期实习,以及科沃斯针对华中科
近日,在深圳昇腾创新中心的支持下,爱可生向量数据库(TensorDB)完成了与华为Atlas800推理服务器和全场景AI框架昇思MindSpore的兼容性测试,实现了爱可生向量检索技术与昇腾AI基础软硬件平台的全面融合。上海爱可生信息技术股份公司上海爱可生信息技术股份有限公司是国内知名的分布式数据库
布局人工智能数字化大健康,撬迎健康赛道下一个蓝海市场。2023年3月9日,在广州朗豪酒店由金豪漾控股举办的〈万物生长·2023春季新品发布会〉现场,智林艾灸机器人全球首发,重磅上市。签到仪式嘉宾荟聚行业大咖、名媛佳丽、企业精英,300位嘉宾盛装出席。现场气氛高昂,一片欢声笑语,签到区合影留念,外场活
微软今天宣布,自集成了ChatGPT的AI版必应(Bing)推出一个月后,必应每日活跃用户首次突破1亿人,每天大概有三分之一用户,会与基于ChatGPT开发的BingChatAI进行交互。
史上用户增速最快消费级应用ChatGPT,自去年11月底发布以来,让全球为其狂欢,各方势力仍持续为此“上火”:用户急着试探ChatGPT是否真的有那么聪明,每天有超过2亿的人都在疯狂抛出各式各样的问题“刁难”ChatGPT,并展现自己的“调教”成果;(ChatGPT每日点击访问量统计图源:国盛证券研