文|智能相对论
作者| 叶一城
野火燎原,openAI搞出的chatGPT大有当年alphaGo的架势,搅动整个AI业界春心荡漾。
从openAI的大金主微软,到昔日明星alphaGo的爸爸Google,都火急火燎地要出来表态——前者要彰显主权并在内部全面应用,后者作为全球AI领头羊怎么能失了对称的地位,要发布对应的产品。
国内科技圈自然也发扬了闻风而动的优良品格,在元宇宙概念疲软后,有关的没关的都纷纷贴上来。股市上各种妖魔鬼怪横行,对于上涨,某些董秘的回复中,否定或许还带着捡漏的窃喜。
而“AI大户”百度在宣布发布类似的产品“文心一言”后,股价也立刻上涨。
股民们冤不冤?这次可能不太冤,因为就“中国版ChatGPT”而言,不管腾讯、阿里怎么站位的,某种程度上百度确实最有技术资格,也最能从ChatGPT的落地应用中获得现实的商业价值。
判断谁能在技术的风口上占便宜,第一步永远是先看技术的本质。
ChatGPT从产品形态上,是“一个使用自然语言处理技术实现和人类互动对话的产品”,而其内在本质,就是一个预训练大模型。所谓“大”,就是在巨量到一般人无法想象的数据训练下拥有庞大的参数规模,因为“大”而见识多,博学多才,任何领域都懂,只要稍微调教一下就能出产特定场景的应用。
ChatGPT并不是一次性发展而来的,其属于openAI的一系列预训练模型,所谓GPT,即Generative Pre-Trained Transformer,就是通过Transformer为基础模型,使用预训练技术得到通用的文本模型。从已经公布的论文看,从2018年起,GPT家族已经先后拥有GPT-1,GPT-2,GPT-3,以及图像预训练iGPT等模型,而目前火得一塌糊涂的ChatGPT,更像是一个GPT-4之前的过渡版本GPT-3.5,因为强大的对话能力突然爆火起来。
不同的是,ChatGPT采用了新的指示学习(Instruction Learning)和人工反馈的强化学习(Reinforcement Learning from Human Feedback,RLHF)来指导模型的训练,前者为ChatGPT带来理解能力,后者通过人工标注反馈的方式来增强模型的效果,实现GPT的进化。
在一系列进化下,ChatGPT的参数总量与GPT-3一致,达到了1750亿,实现了从GPT-2的15亿的跳跃。
说到底,ChatGPT就是一个积累已久、有着特殊训练方式的大模型,它的发展是有技术进化路线的。
而“巧合”的是,百度大力投入的产业级知识增强文心大模型ERNIE,具备跨模态、跨语言的深度语义理解与生成能力,其技术演进几乎走出了同样的进程。
早在2019年3月,百度就做出了文心 ERNIE 1.0,这一技术创新与“同类”GPT-1、BERT的差距都只有几个月,而且百度积累的大规模知识和海量多元数据,让文心得以快速发展——搜索业务给大模型所需要的庞大数据训练量带来了天然的便利。
例如,在文心的发展过程中,2021年,ERNIE 3.0大模型即拥有千亿参数;与超强算力方联合的鹏城-百度·文心作为一款融合了自然语言理解和自然语言生成的大模型,其参数量达到了2600亿,相对GPT-3和ChatGPT提升了50%。
去年9月,百度CEO李彦宏判断人工智能发展在“技术层面和商业应用层面,都有方向性改变”。据推测,百度那时候就开始做文心一言。
除了参数规模扩大、能力增强,文心与ChatGPT一样,也在适应不同需要进行技术进化。目前文心大模型总量已经有36个,以其中的知识增强轻量级大模型ERNIE 3.0 Tiny为例,该模型能够通过多任务知识蒸馏手段将千亿多任务大模型的所学迁移至轻量级模型中,训练了10亿级、亿级、千万级不同体量大小的轻量级大模型,实现了优秀的泛化能力。
回过头来看,百度在技术上一直在做与GPT相同的事,但是晦涩的技术决定了它始终缺乏足够的曝光度,直到大洋彼岸的ChatGPT突然搞出了“大新闻”,举起了旗帜,于是,这就成了百度彰显自身技术能力的契机。
从GPT-3到ChatGPT,与从“文心”到“文心一言”(英文名ERNIE Bot)的命名方式,也“惊人巧合”——原本就是一样的技术迭代过程罢了,百度之所以3月就能马上做出来,甚至按目前的节奏内测还可能提前,原因就在于ChatGPT要的那些技术百度都有,产品上再加入对话算法等,很快就能对齐。
至少在NLP领域,目前国内还没用企业能够看齐百度。
而在现实价值方面,实际上ChatGPT做的各种对话、各种辅助功能,都与百度的业务线较为契合,无论是内部的搜索+信息流,还是对外提供的诸如智慧城市等B端解决方案中,都能得到很好的利用。
尤其是,AI与搜索的契合一直是百度近些年的努力方向,以传统精确搜索为主、“文心一言”的工具型搜索为辅的方式,也更符合未来搜索的形态。
当然,其他辅助的,比如芯片(算力相关)、开发框架(飞桨),百度也都有成熟的“基建配套”了,
不过,百度面临的问题还是那个老生常谈的话题:能不能持续投入下去,等待真正的商业价值回报?毕竟,ChatGPT吹得再响,现实的问题肯定少不了,得有一个成熟的过程。
说白了,在没有进入强人工智能时代,ChatGPT再厉害其本质也只是“小孩学舌”,学得更多当然就更像,但也只是“知其然不知其所以然”。
这不是说小孩学舌就没有用,能够学起来很像、能解决一些问题,价值也很大。只不过,带过孩子的都知道,小孩学舌在面临认知问题时,会出现很多逻辑尴尬。
目前ChatGPT在一些对话上就出现了这个问题,例如解一道简单的数学题,能给你扯一大堆,但结果就是不对。又例如很多专业领域的会话,和官样文章一样看似内容很多、逻辑严密,但就是言之无物。
一些程序界大佬惊呼ChatGPT的健壮性远超人类,要开除外包程序员,实际危言耸听。所谓健壮性无非就是设定规则的执行,就像数数,人从0数到300,肯定容易出错,机器数,当然就不会出错,没啥好惊奇的。
无论如何,ChatGPT还有一些路要走,最有资格也最能得益的百度,在风潮面前仍然要咬牙继续坚持才好,这其中的投入或许会更大。
*本文图片均来源于网络
此内容为【智能相对论】原创,
仅代表个人观点,未经授权,任何人不得以任何方式使用,包括转载、摘编、复制或建立镜像。
部分图片来自网络,且未核实版权归属,不作为商业用途,如有侵犯,请作者与我们联系。
•AI产业新媒体;
•澎湃新闻科技榜单月度top5;
•文章长期“霸占”钛媒体热门文章排行榜TOP10;
•著有《人工智能 十万个为什么》
•【重点关注领域】智能家电(含白电、黑电、智能手机、无人机等AIoT设备)、智能驾驶、AI+医疗、机器人、物联网、AI+金融、AI+教育、AR/VR、云计算、开发者以及背后的芯片、算法等。
申请创业报道,分享创业好点子。点击此处,共同探讨创业新机遇!
2023年7月6日,第六届世界人工智能大会(WAIC2023)在上海开幕,“人工智能大模型”是本届大会的备受瞩目的话题,据悉,在昇腾AI大模型的创新研发中,华为联手26家行业领军企业,组建了一支协同创新的“AI明星队”,云天励飞作为中国人工智能企业的杰出代表,和互联网大厂、运营商、科研院所等优秀团队
这几个月来,以ChatGPT为代表的生成式AI展现出的能力令世界惊叹。自从2016年AlphaGo战胜李世石掀起了一波AI浪潮后,AI仿佛已经沉寂了很久,ChatGPT的横空出世就如同一束耀眼的光芒,让AI这个名词重回C位。过去在AI1.0时代,主要通过训练模型来实现图像识别、声音识别、语言处理等特
文:互联网江湖作者:志刚2023年的IoT需要一个新故事。6月29日,涂鸦智能在开发者大会上,发布了企业级战略PaaS2.0,希望通过一个平台+四大开发服务,建立起IoT生态。对于这场发布会,市场的态度是积极的。美东时间6月29日收盘,涂鸦智能美股股价上涨5.6%,来到1.87美元/股。近日股价稳定
2020年底,王慧文在朋友圈写下这句话时,外界本以为这位伴随中国互联网发展而持续创业20年的人物即将告别创业舞台。但是,一个曾经多次创业,正值壮年的互联网老将心中的创业热情是难以熄灭的。
一场没有罗永浩的“罗永浩直播”,正在改写带货规则当数字人罗永浩在百度直播间举起青岛啤酒,以标志性幽默回应粉丝提问时,弹幕疯狂刷出“这是真的还是假的?”的疑问。这场持续近7小时的直播,创下1300万人次观看、GMV突破5500万元的惊人战绩,甚至超过了他本人一个月前真人直播5000万元的成绩。数字人主
高频互动、个性化教学、突破成本壁垒,AI老师让英语学习更普惠。6月24日,新东方正式推出面向消费者的首款原创AI教育产品——“新东方AI1对1”。这款产品标志着新东方在教育+AI战略布局中迈出关键一步,旨在以科技力量推动优质教育资源的普惠发展。在发布会现场,新东方教育科技集团CEO周成刚表示:“AI
大家好,我是白杨SEO,专注SEO十年以上,全网SEO流量实战派,AI搜索优化研究者。为什么想分享这个AI工作流及coze扣子这个?因为我们搞流量的如果学会了用AI给我们生产提效将更有助于我们去获客。目前白杨SEO用得并不是很好,分享仅供参考,希望给你一些启发。老规矩,先说下文章大纲如下:1、AI工
近期,“AI新云”(NeoCloud)概念在科技圈和投资圈引发热潮。今年3月,被业内称作“英伟达亲儿子”的AI基础设施企业CoreWeave上市。这家依托英伟达GPU资源冲击新云市场的初创公司,上市不到3个月市值飙升359%,达881亿美元。CoreWeave的“身价暴涨”吸引了无数视线。对此,不少
一场人工智能领域的革新风暴正从华为开发者大会现场席卷全球产业界。2025年6月20日,在东莞举行的华为开发者大会HDC2025上,华为常务董事、华为云计算CEO张平安揭开了盘古大模型5.5的神秘面纱。这一全新版本在自然语言处理、计算机视觉、多模态、预测和科学计算五大基础模型上实现全面突破,标志着中国
一行代码未写,企业已获完整客服系统——这将是AI代理普及的新起点。“今天标志着AI代理技术从实验室走向产业的转折点。”OpenAI产品负责人OlivierGodement在项目发布声明中如此评价。就在今日,这家AI巨头通过HuggingFace平台开源了一套完整的客户服务代理框架,采用宽松的MIT许
6月17日,阿里巴巴旗下智能信息平台夸克App正式推出全新学习产品“夸克老师”——一款集讲题、批作业、出题、找试卷于一体的AI家教。该功能依托通义千问大模型,通过指令微调、强化学习等前沿技术,首次实现“因材施教”的个性化辅导,标志着AI在教育领域的应用迈入新阶段。技术突破:AI模拟真人教学,推理能力
2025年6月17日,字节跳动旗下智能助手豆包正式在电脑版及网页端全量上线“AI播客”功能,用户只需上传PDF文档或网页链接,即可一键生成由两位AI主播演绎的对话式播客节目。这一创新功能凭借高度拟人化的语音效果和秒级转化效率,迅速引发内容创作者、学生群体及职场人士的关注。技术突破:真人级语音交互,秒