×

模态 骤增 文心 中文 落地

GPT-4撞上文心一言,百度压力骤增:多模态和中文能力受关注,或多种方式落地

jnlyseo998998 jnlyseo998998 发表于2023-03-16 15:43:04 浏览13 评论0

抢沙发发表评论

出品 | 搜狐科技

作者 | 梁昌均

赶在“国产版ChatGPT”文心一言发布前夕,OpenAI抢先发布了功能更为强大的多模态大模型GPT-4,巨大的压力给到了百度。

前后脚发布,高调宣传的百度难免会被拿来对比,或将面临发布即落后的尴尬。毫不夸张地讲,如果明日发布的文心一言达不到市场预期,百度很可能再次会让外界恨铁不成钢,甚至遭受新一轮舆论炮火。

在目前行业较为普遍的认知中,国内有实力能真正做出类似ChatGPT这样的语言大模型仅有百度等少数有长期技术积累,更为关键的是有强大现金流支撑的科技巨头。

百度则是国内打响这第一枪的大厂,在2月初率先宣布将推出类似产品,并持续进行预热宣传,广泛开展生态伙伴的合作,目前已有近500家企业宣布将接入文心一言。

在国内大模型发展进度落后且无法广泛体验ChatGPT的情况下,外界对百度的文心一言有所期待,但同时对在如此匆忙的时间下推出的产品效果保留质疑,毕竟连谷歌也在这个问题曾吃了大亏。

为了文心一言顺利上线,百度CTO王海峰领导的数百人团队加班加点工作,同时对智算中心也进行了升级。百度相关团队也在为明天的发布工作进行准备,今日已正式向参加发布会的投资人、合作伙伴及媒体等发送了参会信息。

现在,距文心一言发布已不到20小时。百度在迈向人工智能的路上将迎来一个重大节点,是成是败或在此一举。

发布即落后,未来或将多模态融合

随着GPT-4的发布,让文心一言难逃被对比的命运。此次GPT-4也实现了更为强大的性能和功能,在原来的文本生成基础之上新增了图像识别,根据OpenAI的演示,其“看图说话”的能力毫不逊色。在此前被诟病的真实性、准确性、不会做数学和物理题等方面,GPT-4也通过训练和调校得到了一定程度的改善。

展开全文

即将发布的文心一言,基于百度拥有2600亿参数的文心大模型打造,其参数规模超过GPT-3.5(1750亿)。OpenAI并未透露GPT-4的参数规模,而该公司CEO此前称它不会比GPT-3大很多,市场分析称其参数规模可能会在1750-2800亿之间。

有科技博主提到,文心一言可能在推出之后,并不会是一个十全十美的产品,因为AI需要通过不断使用才能变的更智能,而多模态的能力可能会在合适的时机和文心一言结合,未来的文心一言更值得期待。

根据百度文心一言的名称和此前透露的情况来看,其大概率还处于文本处理阶段,也就是和早前版本的Chat-GPT一样仅能进行对话互动的任务,此次将不会是一个多模态大模型。

近些年,多模态已经成为人工智能发展的重要趋势,它包含文本、图像、音频和视频等多种形式,诸多应用场景往往都需要综合能力的加持。谷歌在上周也推出了参数量高达5620亿的具身多模态语言模型PaLM-E,是目前已知的最大的视觉-语言模型。从这个角度来看,百度已经落后于OpenAI和谷歌的进度。

同时,对于Chat-GPT此前暴露出的虚假、胡说八道等诸多问题,文心一言恐怕也难以避免。关键在于有了前车之鉴后,百度是否在一定程度上解决,但如此仓促的时间,改善的效果如何存疑。

OpenAI在GPT-4的这些方面则花了6个月的时间,使用对抗性测试程序和从ChatGPT得到的经验教训,对GPT-4进行迭代调整,从而实现真实性、可控制性等取得了有史以来最好的结果,但仍远非完美。

因此有互联网行业分析师认为,如果单从功能、效果上来对比,文心一言和GPT-4可能根本不在一个量级,被按在地上摩擦是大概率事件,认为文心一言能达到此前版本的ChatGPT的水平就算是超出预期。

文心一言背后的文心大模型定位于产业级知识增强大模型,最早推出在2019推出,目前具备跨模态、跨语言的深度语义理解和生成能力,是全球最大中文单体模型。其中的NLP大模型主要为ERNIE系列模型,其目前已迭代到3.0版本,是打造文心一言的关键。

此前,百度基于文心大模型已推出应用AI作画的文心一格和端到端搜索引擎文心百中,文心一言则具备相似定位。华泰证券认为,技术上来说,文心大模型已经具备了搜索、文图生成等功能,并成功得到应用,这些能力或将集成于文心一言,并增加预置作文生成、文案创作、情感分析等任务处理能力。

中文语言能力受关注,将采取多种落地方式

百度CEO李彦宏此前表示,百度的文心大模型是中国市场非常本土化的大语言模型,基于此而研发的文心一言将比国外开发的模型更适合中文和中国市场,其先进性不仅体现为对中文语言的理解,还体现为对中国文化的理解。

因此相较在中文能力方面表现较差的ChatGPT,百度在中文语言文本上的表现值得期待。公开信息显示,ERNIE 3.0作为文心一言的核心模型引擎,在英文版的测试中本身已经取得了优秀结果。

华泰证券认为,在中文NLP方面,ERNIE 3.0会比ChatGPT更具有天然的语言优势,或将更好的支持中文搜索问答、内容创作生成、虚拟人物、智能客服、智能写作等应用。

不过,前述互联网分析师认为,百度积累的整体数据规模和质量相对ChatGPT的训练数据要弱一个量级,同时在数据的处理上也要与国内具体实情相结合,需要比ChatGPT考虑更多的维度,因此处理难度也会更大,中文表现能力如何还要看百度如何处理。

数字经济专家高泽龙评论称,虽然百度文心大模型参数量已达到2600亿,但百度在这个领域处于第三梯队,落后于OpenAI和谷歌,技术能力相比ChatGPT约晚1-2年。从数据、算力、模型维度来看,主要是差在模型环节,包括清洗、标注、模型结构设计、训练推理的技术积累。

对于后续的落地情况,华泰证券认为,微软证明了搜索引擎+类GPT产品是可行路线,文心一言+百度搜索在国内具有较大优势,并或也将提供大模型API相关功能。同时,文心一言可能打造与文心一格、文心百中类似的产品级应用,通过直接的方式提供服务,类似ChatGPT通过网页即可实现访问。

此外在生态融合上,结合百度自身的自动驾驶、视频等已有生态,融合文心一言的新搜索形态,或可以接入Apollo自动驾驶平台、爱奇艺、小度等平台和终端,扩展使用场景。此外,文心一言还将通过智能云对外提供服务,目前已有近500家企业宣布接入文心一言生态圈,涵盖互联网、媒体、金融、汽车、企业软件等行业。

有观点认为,百度本身就具备数亿用户,如果能借助AIGC创新的浪潮,提供更好的服务,未来就不会被淘汰,甚至完全可以在应用层面碾压ChatGPT。

智算中心升级,加快推动文心一言应用

作为基于千亿大模型打造的文心一言,其背后也需要庞大的算力支持。为支持文心一言的超大规模计算需求,实现文心一言的产业化落地,百度智能云近期动作频频,除了去年12月发布AI大底座,今年2月又升级AI研发运营一体化能力,并在今年3月百度阳泉智算中心完成升级。

文心一言未来将依托AI大底座落地,其属于百度AI大底座的芯片、框架、模型、应用四层架构中的模型层。作为国内首个全栈自研的AI基础设施,AI大底座可以提供端到端、全要素AI解决方案,由百舸异构计算平台(整合百度自研的昆仑芯)、AI中台(飞桨深度学习框架、文心大模型)两大部分组成。

百度智能云云计算产品解决方案和运营部总经理宋飞表示, 大模型创造了一个AI开发的新范式,而百度AI大底座可基于实际业务数据进行不断调优,使得资源利用率提升至70%,企业开发效率提升100%。

与此同时,算力已经成为类似ChatGPT等大模型背后的核心。数据显示,ChatGPT的总算力消耗约为3640PF-days(即假如每秒计算一千万亿次,需要计算3640天)。微软为此花费数亿美元为 OpenAI 建造了一台巨大的超级计算机,使用了上万颗英伟达GPU计算芯片,并称愿意投入更多资金。

前述互联网分析师也提到,对文心一言等类似大模型来说,最重要的还是算力。“这次百度抢先在国内最早发布类ChatGPT应用,可以说是调动了公司内的最大算力资源,但和ChatGPT调用的高端芯片相比,估计不足十分之一。”

文心一言背后的算力基础设施则是由百度阳泉智算中心支持,它于2021年4月正式投入使用,并于2022年12月对外开放服务,后续百度多个智算中心也将为文心一言面向产业的规模化落地提供底层支撑。

阳泉智算中心是亚洲最大单体智算中心,算力规模达4EFLOPS(每秒400亿亿次浮点运算),可以支持各种AI应用场景,如语音识别、图像识别、自然语言处理、机器学习等。搜狐科技近日实地探访时了解到,为保证文心一言顺利上线,百度阳泉智算中心专门为其搭建了GPU集成的服务器中心,该地运维人员也在紧急进行压力测试。

据了解,百度阳泉智算中心采用的也是英伟达芯片,而百度也在推动芯片研发,其量产的7纳米昆仑芯2代在FP16精度下达128TFLOPS,盐城智算中心即基于昆仑芯打造。

昆仑芯科技战略负责人宋春晓透露,昆仑芯2代已在百度文心大模型的应用中广泛落地,百度搜索和AIGC产品也是基于昆仑芯,国内部署规模已达到两万片以上,明年还将推出算力更高的三代产品。

此外,对文心一言等大模型后续落地来说,还离不开AI工程化水平,这需要基于具体业务场景进行二次适配开发,决定了AI能否突破产业落地的“最后一公里”,这也对百度的研发运营一体化能力提出更高要求。

李彦宏此前表示,ChatGPT是AI技术发展到一定阶段后的新机会,但怎么把这么酷的技术,变成人人需要的产品,才是最难的,也是最伟大、最能够产生影响力的。而对百度来说,推出文心一言仅仅是其加速人工智能大模型发展的第一步。