大模型太招人喜欢了。有工程师请ChatGPT以科幻作家刘慈欣口吻写一封情书,结果夫人收到后泪流满面。帮影像科医生撰写专业年终总结、为创作者提供天津快板和说唱风相结合的诗词,这些对大模型而言都不在话下。
AI算力需求改变了全球半导体产业格局。2020年7月9日,或是半导体行业极具里程碑意义的一天——这天,以AI算力为强项的英伟达,其市值首次超过半导体行业原霸主英特尔。如今,英伟达市值更已跃上万亿美元台阶。
(相关资料图)
业内预测数据显示,到2030年,全球半导体行业接近万亿美元规模的市场中,AI高性能计算将占比40%。这意味着,眼下狂热大模型背后,有一个关乎“肌肉展示”的冷思考难以回避。业内公认的说法是,1万张英伟达A100,是做好一个大模型的基本算力门槛。
国内正酣的“百模大战”,必须直面“烧不烧得起”的灵魂拷问,由此带出“算力普惠”的话题。就在昨天2023世界人工智能大会“从‘端’到‘云’,勇攀‘芯’高峰”芯片主题论坛上,AI产业界既感到压力也充满了动力——大模型意味着海量算力需求,也带来了国产芯“创新架构+开源生态”的逆袭新机会。
能否如水电般普惠?
在本届世界人工智能大会上,30余款大模型竞相博眼球,包括华为盘古、阿里通义、讯飞星火、百度文心、复旦Moss等通用大模型,商汤商量、云知声山海等对话模型,腾讯X music等音乐模型及多个垂直行业专业模型。就在不久前,科技部新一代人工智能发展研究中心发布了《中国人工智能大模型地图研究报告》,指出我国已发布79个10亿级以上参数规模的大模型,“百模大战”近在眼前。
燧原科技创始人、董事长兼CEO赵立东分析了这些大模型未来指数级增长的算力刚需——
在大模型的技术萌芽期,根据前人经验,训练一个GPT3参数规模的大模型,需要用到1万张英伟达V100,用时14.8天,训练成本极为高昂。今年下半年晚些时候,我国大模型有望进入技术膨胀期和应用萌芽期,开启推理部署阶段。以谷歌的经验,用大模型来代替谷歌每秒32万个查询,需部署约410万张英伟达A100,由此新增约360亿美元的推理成本。此后,前进到应用加速膨胀期,大模型应用真正赋能千行百业,所需算力又要来一波乘数效应。比如微信月活数十亿,有千万个小程序,其算力需求简直就是天文数字。
再狂热的大模型训练和推理,终要回归商业逻辑,实现经济效益而非“不计代价”。这就涉及算力能否如水电般普惠。所谓“普”,是指需要的时候能获得;所谓“惠”,是指能负担得起。但芯片主题论坛上,与会专家们都不得不承认,目前我国距离算力普惠还有较长的路要走。
赶超出现“窗口期”?
如何实现算力普惠?赵立东和中国科学院院士毛军发的观点都是——创新的架构,加上开源的生态。
据记者了解,目前半导体市场的AI芯片,基本都是以英伟达推出的GPU和CUDA为主流架构,许多应用也以这些主流架构为基础而开发。然而从长远计,国内芯片产业界必须建立第二解决方案,为市场和客户提供第二选择。
事实上,算力如此“烧钱”甚至“求而不得”,这对于国产芯努力构建自主创新架构、满足市场对性价比和能效比的多元需求,无疑是一个极佳的时间窗口。“大模型数量上的收敛,生态也得到浓缩和集约,这对于建立AI芯片新生态来讲,是非常有利的机会。”燧原科技创始人兼COO张亚林说。
论坛上,对于走开源共享之路的呼吁也不时提出。专家认为,出于商业考虑,一些厂商多不会选择开源,这本无可厚非。但如果想要走出一条赶超之路,就不能自缚手脚、在技术上自我设限。上海市集成电路行业协会会长张素心在论坛上呼吁,孤木不成林,国产芯应汇聚合力,扩大开发者群体的加入,形成生态闭环,继而加速产业发展乃至国际化之路。
国产芯能否多上场?
种种可喜现象表明,部分国产芯正加速励志奋进路。
比如燧原科技,专注人工智能云边端算力技术产品,基于自研芯片架构与编程框架,不依赖国外厂商或生态,自主打造云端训练和推理两条产品线,拥有覆盖芯片、板卡、系统、集群、计算平台的完整解决方案。成立于首届世界人工智能大会举办前夕的燧原科技,已步入从自主研发到大批量产、从商业应用到优化迭代的正向循环发展轨道。
其中燧原科技已在大型实验室落地的1280卡规模的全液冷AI训练集群,是其为国内大规模AI算力基础设施量身定制的算力集群。值得一提的是,燧原科技的全液冷AI训练集群,其减碳核心指标PUE(数据中心总能耗/IT设备能耗)小于等于1.1。
记者发现,国内许多芯片厂商不愿亦步亦趋跟随巨头脚步,也渴盼着市场和政府部门的支持。芯片产业发展有节奏、有阶段,政府或可探索予以分段支持,在预训练、精调、推理各个阶段,逐步增大支持力度,更好地推进AI芯片产业发展。
“上场多,比赛成绩自然就上去了。谁也不可能直接从观众席一步登上领奖台。”赵立东说,“芯片是‘用进废退’,越用才能越好用。在渐进式过程中培育算力生态、迭代算力产品,这个过程是我们必须经过的。”
(文章来源:解放日报)