2023年9月 29日,由阿里云、NVIDIA联合主办,阿里云天池平台承办的“NVIDIA TensorRT Hackathon 2023生成式 AI模型优化赛”圆满落幕。该赛事自2020年以来,已成功举办三届,本届赛事于今年 7月启动,吸引了来自全国729支开发者团队报名参赛,其中共有 40支团队晋级复赛,最终 26支团队于决赛中脱颖而出,分获冠军/亚军/季军及优胜奖,展现出了卓越的技术实力。
解锁 TensorRT-LLM挖掘生成式 AI新需求
今年的NVIDIA TensorRT Hackathon着重提升选手开发 TensorRT应用的能力。
在过去的一年里,生成式 AI迎来了爆发式增长。计算机能够批量生成大量图像和文本,有的甚至能够媲美专业创作者的作品。这为未来生成式 AI模型的发展铺平了道路,令人充满期待。正因如此,NVIDIA TensorRT Hackathon 2023选择生成式 AI模型作为比赛的主题,以激发选手的创新潜力。
今年的比赛设置了初赛和复赛两组赛题——初赛阶段,选手需要利用 TensorRT加速带有 ControlNet的 Stable Diffusion pipeline,以优化后的运行时间和出图质量作为主要排名依据;复赛为开放赛题,选手可自由选择公开的 Transformer模型,并利用 TensorRT或 NVIDIA TensorRT-LLM进行模型推理优化。
NVIDIA TensorRT™作为 GPU上的 AI推理加速库,一直以来都备受业界认可与青睐。本次比赛的背后是 NVIDIA TensorRT开发团队对产品不断进行改进和优化的结果。通过让更多模型能够顺利通过 ONNX自动解析得到加速,并对常见模型结构进行深度优化,极大地提高了 TensorRT的可用性和性能。这意味着大部分模型无需经过繁琐的手工优化,就能够在 TensorRT上有出色的性能表现。
TensorRT-LLM是 NVIDIA即将推出用于大语言模型推理的工具,目前已于官网开放试用。作为此次复赛推荐使用的开发工具之一,TensorRT-LLM包含 TensorRT深度学习编译器,并且带有经过优化的 CUDA kernel、前处理和后处理步骤,以及多 GPU/多节点通信,可以在 NVIDIA GPU上提供出类拔萃的性能。它通过一个开源的模块化 Python应用 API提高易用性和可扩展性,使开发人员能够尝试新的 LLM,提供最顶尖的性能和快速自定义功能,且不需要开发人员具备深厚的 C++或 CUDA知识。
作为本次大赛的主办方之一,阿里云天池平台为参赛选手提供了卓越的云上技术支持,在阿里云GPU云服务器中内置 NVIDIA A10 Tensor Core GPU,参赛者通过云上实例进行开发和训练优化模型,体验云开发时代的AI工程化魅力。同时,由NVIDIA 30名工程师组成导师团队,为晋级复赛的 40支队伍提供一对一辅导陪赛,助力选手获得佳绩。
从实践到迭代脑力与创造力的集中比拼
本次比赛中涌现出大量优秀的开发者。在获奖的 26支团队中,有不少团队选择借助 TensorRT-LLM对通义千问-7B进行模型推理优化。
通义千问-7B(Qwen-7B)是阿里云研发的通义千问大模型系列的 70亿参数规模的模型,基于 Transformer的大语言模型,在超大规模的预训练数据上进行训练得到。在 Qwen-7B的基础上,还使用对齐机制打造了基于大语言模型的 AI助手 Qwen-7B-Chat。
获得此次比赛一等奖的“无声优化者(着)”团队,选择使用 TensorRT-LLM完成对 Qwen-7B-Chat实现推理加速。在开发过程中,克服了 Hugging Face转 Tensor-LLM、首次运行报显存分配错误、模型 logits无法对齐等挑战与困难,最终在优化效果上,吞吐量最高提升了4.57倍,生成速度最高提升了5.56倍。
而获得此次赛事二等奖的“NaN-emm”团队,在复赛阶段,则选择使用 TensorRT-LLM实现 RPTQ量化。RPTQ是一种新颖的基于重排序的量化方法,同时量化了权重与中间结果(W8A8),加速了计算。从最开始不熟悉任何 LLM模型,到后续逐步学习和了解相关技术,“NaN-emm”团队启用了GEMM plugin,GPT Attention plugin,完成了 VIT、Q-Former、Vicuna-7B模型的转化,最终通过 40个测试数据,基于 Torch框架推理耗时 145秒,而经过 TensorRT-LLM优化的推理引擎耗时为 115秒。
本次大赛还涌现了一批优秀的开发者,本届参赛选手邓顺子不仅率领队伍获得了一等奖,还收获了本次比赛唯一的特别贡献奖。他表示,2022年的 Hackathon比赛是他首次接触 TensorRT,这使他对模型推理加速产生了浓厚的兴趣。尽管当时未能进入复赛,但那次经历让他深感自身技能的不足。在上一次比赛中,他目睹了顶尖选手使用 FasterTransformer在比赛中取得领先地位,这一经历让他对 AI技术有了更深入的理解和追求。随后,他积极做 TensorRT上的模型开发,特别是对 ChatGLM/Bloom等新兴模型进行了优化,感受到了 TensorRT的强大。
今年,他再次参加了 TensorRT Hackathon 2023,利用 TensorRT-LLM成功优化了 QWen大模型,实现了自己的梦想。他感谢主办方给予的机会,团队的支持,以及所有参赛者的努力,他期待未来能与大家一起为 AI技术的发展创造更多奇迹。
人工智能应用场景创新日新月异,AI模型的开发与部署也需要注入新的动能。在此次赛事中,选手们基于 TensorRT挖掘出更多的潜能和功能需求。未来,阿里云和NVIDIA还将持续为开发者和技术爱好者提供展示技能和创意的平台,天池平台将与更多优秀的开发者一同推进 TensorRT的发展,让 AI在 GPU上更容易、更高效地部署。
申请创业报道，分享创业好点子。点击此处，共同探讨创业新机遇！
随着国际化进程加速，越来越多出海企业出于业务发展的需要，产生了触达C端用户的场景诉求，迫切需要更好用的营销通讯工具。WhatsApp、Viber、Facebook、Instagram、邮件等等正成为企业出海沟通的关键渠道。一、传统多通道接入的三大痛点开发复杂度高是首要问题。每个消息平台都有独特的AP
2025年9月24日，在杭州云栖大会中小企业AI应用规模化发展论坛现场，阿里云与天猫联合宣布启动“AI新品类联合计划”。该计划旨在依托阿里云强大的AI技术底座与淘天平台领先的电商平台运营能力，为智能硬件企业赋能，构建从产品创新到商业落地的完整闭环。双方成立专项项目组，在组织、政策、流量、渠道、市场等
近日，阿里云正式启动”618创新加速季“大型优惠活动，本次活动以"AI创新加速季、云端智惠新动力”为主题
7月26日，巴黎奥运会开幕在即，国际奥委会主席巴赫在国际转播中心举行的活动中表示，2024巴黎奥运会展现了奥运转播的未来，广泛应用的阿里AI技术正在将巴黎奥运转播带到新的高度。（国际奥委会主席巴赫）在巴黎奥运会上，云计算将替代卫星成为奥运赛事直播的主要方式。超过三分之二奥运直播信号将通过阿里云支撑的
凌晨两点，小王合上笔记本，揉了揉酸胀的眼睛。花了一个月写出来的10万字短剧剧本躺在硬盘里，要真正把它拍成剧，得找演员、租场地、请摄像、做后期……粗算下来少说要几十万，他只能把剧本继续锁在抽屉里。不过，现在小王的剧本可以“见光”了。2026年3月19日，字节跳动旗下的小云雀AI正式上线了短剧Agent
你一定遇到过这样的场景：明明刚和AI助手聊了半个小时的项目细节，退出会话后重新打开，它却像个失忆患者一样，连你上一轮说过什么背景信息都忘得一干二净，你又得从头把需求讲一遍。这种“聊完就忘”的体验，让无数使用AI智能体的用户深感头疼。为了解决这一普遍困扰，腾讯云在4月3日正式推出了名为“龙虾”的记忆服
4月3日凌晨，谷歌DeepMind悄然甩出一枚重磅炸弹——全新一代开源大模型Gemma4正式发布，以极其宽松的Apache2.0协议向全球开发者免费开放。这是自2025年3月发布Gemma3以来，谷歌时隔整整一年的重大迭代。本次发布的Gemma4包含四个不同规格的版本：E2B（有效20亿参数）、E4
AI龙虾也会生病。别怕，大部分病不是什么绝症，自己在家就能治。我养OpenClaw一年多，总结出五种最常见的毛病，附上我的“土方子”，希望对你有用。病一：不吃食（完全不执行任何任务）症状：你给了指令，它没反应，日志里一片空白。就像龙虾趴在塘底不动弹，碰它也不理。病因：通常是进程卡死了，或者依赖服务没
养过真龙虾的人都知道，投喂是个技术活。喂少了，龙虾饿得互相残杀；喂多了，剩饵坏水，整塘发病。OpenClaw这个AI龙虾也一样——你给它安排的任务太少，它会“闲得发慌”，反应迟钝；你一次塞给它太多复杂任务，它会“消化不良”，要么报错要么干一半就卡住。每天该喂几次？我的经验是：每天喂两次，早上一次简单
养过真龙虾的人都知道，苗种的好坏直接决定收成。养AI龙虾也一样——OpenClaw有不同版本，有的稳定但功能少，有的功能多但爱“闹脾气”。新手该怎么选？我用自己的踩坑经历告诉你。版本怎么选？OpenClaw目前主要有三个分支：稳定版（Stable）、测试版（Beta）和社区魔改版（Community
我第一次听说OpenClaw，是在一个技术群里。有人发了一串代码，说“这个AI龙虾特别好养，会自己找食吃”。我好奇点进去，结果对着终端发了一小时呆——连环境都没搭起来。后来我才明白，养AI龙虾跟养真龙虾一样，新手入门得先做足功课。第一问：我的电脑跑得动吗？很多人以为AI龙虾就是个聊天机器人，打开网页
4月2日，字节跳动旗下火山引擎在武汉举行的AI创新巡展上宣布，Seedance2.0API正式面向企业用户开启公测。同时，火山引擎总裁谭待在会上披露，截至今年3月，豆包大模型日均Token使用量已突破120万亿，在过去三个月内增长一倍，比2024年5月发布时增长1000倍。Seedance2.0：从
养AI小龙虾的路上，坑不少。有人被代装服务骗了钱，有人电脑中了毒，有人收到天价账单，还有人发现AI“失控”了，开始乱删文件。如果你也遇到这些糟心事，别慌。下面这份“养虾应急包”，告诉你第一时间该做什么。场景一：代装被骗，钱打水漂了花了300块找人远程装OpenClaw，结果对方收了钱就拉黑，或者装了
把AI智能体请进电脑，就像把家里所有的钥匙交给了一个陌生人。它能帮你打扫房间、整理文件，但万一它“起了坏心”，或者被坏人利用了，你的家就不再安全了。这不是危言耸听。国家互联网应急中心已经发布风险提示，指出OpenClaw的默认配置“极为脆弱”，攻击者一旦得手，能轻易获取系统控制权。微软安全团队也警告
