百度文心一言是每日更新的一句古诗词,旨在激发读者的思考,增强文人文魂。我期待文心一言能够带给我更多美好的文学体验,更深刻的文化意境,以及更多有趣的历史故事。进入3月中旬,全球科技巨头再次竞相亮相大语言模型赛道。
一周之内,开发出ChatGPT的美国初创公司OpenAI,对OpenAI投入巨资的科技巨头微软,以及中国互联网龙头企业百度,相继发布了在大语言模型(LLM)领域的最新动态。这也再次引发了全球对该领域的关注。
当地时间3月14日,OpenAI公布了其大型语言模型的最新版本——GPT-4,它比GPT-3.5的问答质量和技术都有明显提升。
3月16日下午,百度开启新一代大语言模型、生成式AI产品文心一言测试,从而成为第一家加入该赛道竞争的中国企业。
在发布会现场,百度创始人、董事长兼首席执行官李彦宏通过问答的形式,展示了文心一言在文学创作、商业文案创作、数理推算、中文理解、多模态生成等五个使用场景。几个小时后,微软宣布,将把GPT-4接入Office全家桶,新名为“Microsoft 365 Copilot”。
正如财经E法在2月17日发布的文章(OpenAI独家回应|ChatGPT为何不向所有中国用户开放注册?)所述,中国内地和中国香港的手机号均无法注册ChatGPT账号。虽然OpenAI的应用程序编程接口(API)已向161个国家和地区开放,但不包括中国内地和中国香港。
一方面,业界普遍关注,在AIGC(生成式人工智能)势不可挡的科技浪潮中,谁将成为下一个弄潮儿?另一方面,在中美科技竞合的敏感期,各方亦颇为关注百度迈出的第一步带来的涟漪,以及中国企业该如何应对。01“真的ready了吗?”
3月16日,李彦宏身着白衬衫和运动鞋演讲。开场就直面疑问,“最近一段时间,很多朋友问我,为什么是你们真的ready了吗”?
李彦宏的回答是,虽然百度已投入AI研究十多年,为发布文心一言做了充分准备,但“不能说完全ready了”,因为文心一言对标ChatGPT、甚至是GPT-4,门槛很高,还“有很多不完美的地方”。但他强调“一旦有了真实的人类反馈,文心一言的进步速度会非常快”。
李彦宏解释,之所以选择当天发布,是因为市场有需求:客户和合作伙伴都希望能早一点用上最新最先进的大语言模型。
如何理解李彦宏所言的“对标GPT-4的门槛很高”?
当地时间3月14日,OpenAI公布了其大型语言模型的最新版本——GPT-4。GPT-4是大型的多模态模型,即能够接受图像和文本类型的输入。而GPT-3.5只能接受文本输入。
在演示视频中,OpenAI总裁兼联合创始人格雷格·布罗克曼(Greg Brockman)用笔和纸画了一幅网站草图,并将图片输入GPT-4。仅1到2秒后,GPT-4就生成了网页代码,制作出了与草图高度相似的网站。根据OpenAI发布的实验数据, GPT-4模型相较前一代GPT-3.5已取得了巨大的进步,在许多专业测试中表现出超过绝大多数人类的水平。
浙江大学国际联合商学院数字经济与金融创新研究中心联席主任盘和林认为,文心一言未来还有待全面开放来获得用户检验。无论是通过B端API还是直接向C端用户开放,用户体验口碑都是硬道理。当前ChatGPT没对中国用户开放,在国内市场,百度将获得先发优势。
对OpenAI和百度的产品均做过测评的艾媒咨询CEO兼首席分析师张毅表示,GPT系列大模型,包括GPT-4与文心一言本质上都是同一类产品,只是它们各自的数据覆盖范畴和数据模型的积累长短不一。从短期看,OpenAI的产品准备时间相对更加充足,智能程度暂时领先一些。但是对文心一言而言,能在这么短的时间内训练出这样的一个产品,也是非常了不起的。
张毅也对百度做出更好产品更有信心,他的理由是,从人工智能、大数据、大模型的人才储备来看,中国会更有优势。
中央财经大学数字经济融合创新发展中心主任陈端则认为,与海外竞争对手相比,百度最大的优势是立足本土,构建了语言和文化层面理解的护城河。
作为中国公司研发的大语言模型产品,文心一言的中文理解能力备受关注。重要原因是,此前很多评论人士认为,ChatGPT的中文问答能力不如英文问答能力强。
李彦宏表示,作为扎根于中国市场的大语言模型,文心一言具备中文领域最先进的自然语言处理能力。在现场展示中,文心一言正确解释了成语“洛阳纸贵”的含义、“洛阳纸贵”对应的经济学理论,还用“洛阳纸贵”创作了一首藏头诗。李彦宏称,文心一言的训练数据包括:万亿级网页数据,数十亿的搜索数据和图片数据,百亿级的语音日均调用数据,以及5500亿事实的知识图谱等,这让百度在中文语言的处理上能够独一无二。
受访专家也指出,由于汉语的特殊性,中国企业在研发大模型时面临的难度更大,但若突破了,也会在提供本土服务时,具备更大的优势。
法国里昂商学院人工智能与商业分析教授丁文璿日前对媒体指出,语言对话模型训练,需要让机器对文字产生理解,英语比中文稍微容易一些。丁文璿解释,中国人工智能技术所处理的中文语言,大多都是象形词,而英文是解释性的,相较而言词语也并非特别丰富。
上海交通大学约翰·霍普克罗夫特计算机科学中心助理教授林洲汉认为,未来大语言模型大概率会往多模态、交互式的方向发展,进一步将视觉、语音、强化学习等领域的技术综合进来。李彦宏也表示:“多模态是生成式AI一个明确的发展趋势。随着百度多模态统一大模型的能力增强,文心一言的多模态生成能力也会不断提升。”
在多模态生成方面,李彦宏展示了文心一言生成文本、图片、音频和视频的能力。文心一言在现场用四川话朗读了一段内容,并根据文本生成了一段视频。但李彦宏透露,文心一言的视频生成成本较高,现阶段还未对所有用户开放,未来会逐步接入。
李彦宏称,文心一言的训练数据包括:万亿级网页数据,数十亿的搜索数据和图片数据,百亿级的语音日均调用数据,以及5500亿事实的知识图谱等,这让百度在中文语言的处理上能够独一无二。
受访专家也指出,由于汉语的特殊性,中国企业在研发大模型时面临的难度更大,但若突破了,也会在提供本土服务时,具备更大的优势。
法国里昂商学院人工智能与商业分析教授丁文璿日前对媒体指出,语言对话模型训练,需要让机器对文字产生理解,英语比中文稍微容易一些。丁文璿解释,中国人工智能技术所处理的中文语言,大多都是象形词,而英文是解释性的,相较而言词语也并非特别丰富。
上海交通大学约翰·霍普克罗夫特计算机科学中心助理教授林洲汉认为,未来大语言模型大概率会往多模态、交互式的方向发展,进一步将视觉、语音、强化学习等领域的技术综合进来。李彦宏也表示:“多模态是生成式AI一个明确的发展趋势。随着百度多模态统一大模型的能力增强,文心一言的多模态生成能力也会不断提升。”
在多模态生成方面,李彦宏展示了文心一言生成文本、图片、音频和视频的能力。文心一言在现场用四川话朗读了一段内容,并根据文本生成了一段视频。但李彦宏透露,文心一言的视频生成成本较高,现阶段还未对所有用户开放,未来会逐步接入。发布会前后,百度的股价经历了大落大起。3月16日,港股百度盘中股价跌幅一度扩大超10%,报120.1港元。截至收盘,百度股价跌幅为6.36%,报125.1港元。但百度股价在美股势头强劲,当日百度美股开盘低开高走,振幅超7%。截至收盘,报138.16美元,涨幅为3.8%。3月17日,百度港股表现强势,盘中一度大涨超15%。截至当日收盘,百度港股涨幅为13.67%,报142.2港元。
文心一言宣布开启邀请测试一小时内,排队申请文心一言企业版API调用服务测试的企业用户已达3万多家,申请产品测试网页多次被挤爆,百度智能云官网流量飙升百倍。
文心一言的市场热度持续飙升,资本市场也给予了价值重估。张毅认为,这也代表了公众对大语言模型/生成式AI “既期待,又担忧,然后是希望”的心情。02谁都不能错过的科技革命
“真的ready了吗?”并不仅针对百度,也是伴随此轮“ChatGPT”热潮以来,公众普遍的疑问。
李彦宏观察到,从2021年开始,人工智能技术开始从“判别式”向“生成式”转变。
创新工场董事长兼CEO李开复3月14日在一场趋势分享会上表示,AI 2.0时代的第一个现象级应用,就是以GPT-4为代表的AIGC,又称生成式AI(Generative AI)。李开复表示,AI2.0 是绝对不能错过的一次革命,它将会是一个巨大的平台性机会,这个机会将比移动互联网大十倍。他还表示,AI 2.0也是中国在AI领域的第一次平台角逐机会。
受访专家普遍认为,此前全世界的AI企业都遇到了一个极大的问题:即使技术储备十分丰富,AI应用并没有给它们带来丰厚的收益。造成这一问题的原因在于,AI产品的应用主要集中在B端(企业用户)和G端(政府用户),AI产品在进入企业或机构时往往流程复杂,这在某种程度上会限制AI产品在市场上的快速扩张。
张毅认为,AIGC的产品应用方向在C端更有可能产生巨大的商业机会。他分析说,在美国市场,此前C端市场被谷歌、亚马逊、Meta等企业抢占,让微软压力非常大,更需要一款产品来扳回一局。在中国市场,百度的优势和谷歌一样,都有强大的搜索引擎对数据的抓取能力,以及储存、整理、分析能力的基础。中国本身拥有十几亿人口的巨大市场,百度完全可以做得很优秀。
“百度和微软、谷歌本质上是两个不同市场的竞争,所以我相信文心一言以及系列产品也一定会跑出来。”张毅说。
李彦宏坚称,文心一言不是“中美科技对抗的工具”。但他也承认,ChatGPT 的成功,加快了百度推出该产品的进度。
百度CTO王海峰表示,人类进入AI时代,IT技术的技术栈可以分为四层:芯片层、框架层、模型层和应用层。百度是全球为数不多、在这四层进行全栈布局的人工智能公司,在各个层面都有领先业界的自研技术。高端芯片昆仑芯、飞桨深度学习框架、文心预训练大模型以及搜索、智能云、自动驾驶、小度等应用。王海峰认为,百度全栈布局的优势在于,可以在技术栈的四层架构中,实现端到端优化,大幅提升效率。
文心一言与ChatGPT一样,都使用了SFT(模型微调)、RLHF(从人类反馈中进行强化学习)以及Prompt(提示)作为底层技术。文心一言还采用了知识增强、检索增强和对话增强技术。王海峰表示,这三项是百度已有技术优势的再创新。
陈端认为,在当前技术创新的集成性越来越高的当下,全栈式布局的单一公司在内部技术研发统筹能力和后期商业化进行中的协同能力上具有比较优势。
信心很重要,但差距无法忽视。
在本月初的两会期间,中国科技部部长王志刚在回应ChatGPT相关的问题时,用足球打比方,指出中国还有很多工作要做。“踢足球都是盘带、射门,但是要做到梅西(足坛巨星利昂内尔·梅西)那么好也不容易。”
王志刚指出,中国在这方面也作了很多布局,在该领域的研究也进行了很多年,并且有一些
成果,“但目前要达到像 OpenAI 的效果可能还要拭目以待”他补充道。
王志刚说,ChatGPT出来以后,引起了大家的关注。实际从技术本身源头来讲,它叫做NLP、NLU,也就是自然语言处理和自然语言理解。ChatGPT之所以引起关注,在于它作为一个大模型,有效结合了大数据、大算力、强算法,计算方法有进步。同样一种原理,做得有区别。比如大家都能做出发动机,但质量是有不同的。
无论是ChatGPT还是文心一言,其背后的大语言模型是核心竞争力。北京大学王选计算机研究所研究员赵东岩告诉财经E法,国内大模型在数据、训练方法和费用投入方面和OpenAI还有一定差距。
一位科技系统人士则对财经E法指出,客观而言,中美目前在该领域的基础研究成果差距较大。这些基础研究成果包含自然语言处理(NLP)、数据库、GPU产品,“美国切断GPU芯片(的供应),(中国的)算力就跟不上”。
大型算力的核心在于高性能GPU芯片。北京航空航天大学软件学院助理教授周号益告诉财经E法,在GPU芯片等计算硬件上,中国与国际的差距在十年左右,硬件水平会严重制约大语言模型以及科学计算类模型的发展。
周号益认为,在技术和模型上,中国的科技公司与OpenAI并没有代差,差距仅在五年以内,在一些较小的技术领域差距只有2-3年。在数据采集方面,以GPT-3大模型为例,其训练的语料中中文只占5%,中国科技企业对中文语料的积累具有一定优势,因此极有可能在中文领域实现突破。03巨头下一步:构建生态
对于以ChatGPT为代表的大语言模型赛道如何实现盈利,是各方公认的难题(ChatGPT爆火的冷思考:盈利难题与治理挑战)。
开发出ChatGPT的OpenAI仍是一家亏损中的创业公司。而2023年1月,投资银行摩根士丹利(Morgan Stanley)的一份分析报告称,ChatGPT的一次回复成本大约是谷歌搜索查询平均成本的6倍-28倍。
但腾讯研究院高级研究员曹建峰和经纬创投前副总裁庄明浩都认为,ChatGPT能带来多少盈利,并不是OpenAI关注的重点,重点是基于它的模型能长出什么样的服务和应用,从而构建起一个生态系统。“ChatGPT的发展需要一个产业生态,比如它和微软相关应用的融合就是很好的思路。”曹建峰说。
当地时间3月15日,微软副总裁兼消费者首席营销官余瑟夫·梅迪发文表示,新版必应搜索引擎已经在 GPT-4 上运行。另据OpenAI披露,GPT-4是在微软Azure AI 超级计算机上进行训练的,并将基于Azure 的AI基础架构向世界各地的用户提供 GPT-4服务。
谷歌则宣布开放其大语言模型PaLM的API接口,并推出面向开发者的工具MakerSuite。通过PaLM API 接口,开发者们可以将PaLM用于各种应用程序的开发。MakerSuite则可以让开发者快速对自己的想法进行原型设计,并且随着时间的推移,该工具将具有用于快速工程、合成数据生成和自定义模型调整的功能。
微软迅速跟进。当地时间3月16日,微软宣布将把GPT-4接入Office全家桶。新功能名为“Microsoft 365 Copilot”。
李彦宏则在发布会上表示,文心一言定位于人工智能基座型的赋能平台,将助力金融、能源、媒体、政务等千行百业的智能化变革。
根据文心一言的邀请测试方案,3月16日起,首批用户可通过邀请测试码,在文心一言官网体验产品,后续将陆续开放给更多用户。百度智能云即将面向企业客户开放文心一言API接口调用服务。该服务于3月16日起开放预约。
截至3月18日早11点,排队申请百度智能云文心一言企业版API调用服务器测试的企业用户增加到9万家,百度收到关于文心一言合作的咨询 6588条。
陈端认为,这一轮的竞争,不仅是商业主体的竞争,实际上也是关乎下一轮国家数字竞争力的竞争。百度的当务之急不完全是技术层面的研发,也需要引领更多初创型企业、生态合作伙伴加盟生态阵营。
在陈端看来,中国在构建生态系统上具有优势。陈端指出,中国的移动互联网经过多年发展,应用层生态化的配套创新已经非常成熟。应用层的很多中小微创业团队,在过去配合移动互联生态做了大量的局部、垂类场景端的创新,把过去的这种模式以及底层基础设施从移动互联迁移到大模型领域依然适用。04中小企业还有机会吗?
面对大语言模型的浪潮,中国企业该如何抓住机遇,避免风险?
布局ChatGPT的企业有两种类型:第一种是传统的互联网大公司,第二种是一些初创企业。
陈端认为,目前市场上的初创公司已经错过了布局大模型的初始创业阶段。陈端分析说,
重新打造生成式AI企业,跟时机、底层的生态支撑度,还有创始人自身的阅历、经验、视野、个人IP的自然调动能力都是息息相关的。大模型在前期的投入,不管是算力还是其他的成本,以及时间窗口都很重要。
陈端表示,百度有能力把自己的其他的产品与文心一言协同,就像微软把Office与GPT-4协同推出Copilot,而“创业者单纯去拼大模型却没有配套生态,这是很成问题的”。
张毅也认为,对于能够有资金、实力支撑的企业来讲,单独构建大模型产品可能会更受资本和创业者的青睐。但对于中小企业来讲,依托文心一言的开放平台去嫁接自己在细分领域的应用,也是一个不错的选择。
因为要做出大语言模型,需要长时间,以及巨额资金的投入。
OpenAI成功的背后,是微软多年来的巨额投入。美国时间2023年1月23日,微软宣布将对OpenAI进行为期数年、价值数以十亿计美元的投资。在2019年和2021年,微软曾向OpenAI两次投资。2019年的投资为10亿美元,而2021年的投资未公开金额。
AI公司“彩云科技”的创始人袁行远在接受36氪采访时指出,要想跑通一次100亿以上参数量的模型,至少要做到“千卡/月”这个级别,即:用1000张GPU卡,然后训练一个月。即使不用最先进的英伟达A100,按照一张GPU五万元的均价计算,1000张GPU意味着单月5000万的算力成本,这还没算上算法工程师的工资。
“无论是哪家公司,都不可能靠突击几个月就能做出这样的大语言模型。”李彦宏在发布会上表示,深度学习、自然语言处理,需要多年的坚持和积累,没法速成。大模型训练堪称暴力美学,需要有大算力、大数据和大模型,每一次训练任务都耗资巨大。
百度提供的数据显示,百度近十年累计研发投入超过 1000 亿元。2022 年百度核心研发费用 214.16 亿元,占百度核心收入比例达到 22.4%。但百度并未透露大模型研发在核心研发费用中的占比。
李彦宏在发布会上表示,百度对文心一言的定位,是一个通用的赋能平台,金融、能源、媒体、政务等千行百业,都可以基于这个平台来实现智能化变革,实现效率提升,创造巨大的商业价值。李彦宏认为,大模型时代将产生三大产业机会,分别为新型云计算公司、进行行业模型精调的公司和基于大模型底座进行应用开发的公司,即应用服务提供商。
李彦宏断言,对于大部分创业者和企业来说,真正的机会并不是从头开始做ChatGPT和文心一言这样的基础大模型,这很不现实,也不经济。基于通用大语言模型抢先开发重要的应用服务,这可能才是真正的机会。基于文本生成、图像生成、音频生成、视频生成、数字人、3D等场景,已经涌现出很多创业明星公司,可能就是未来的新巨头。
“大模型、生成式AI最终的产品形态还不得而知,所以这条路注定是长跑,需要整个科技界在资本、研发、模式创新上密切、持续地跟跑。”张毅说。
李开复认为,AI2.0会最先应用在能容错的领域,而毫无疑问最大的应用领域现在是内容创造。每个领域都可以把原有的App重写一次,创造出更赚钱的商业模式,最终AI2.0的生成能力会把成本降的几乎到0。
文心一言(Talk to Transformer)和CHATGPT都是由OpenAI开发的人工智能模型,但它们的推出时间和用途有所不同。
文心一言是OpenAI在2019年底发布的语言生成模型,它基于GPT-2,并针对大众用户设计,提供更简单易用的交互方式。用户可以通过输入一个开头的句子或问题,模型会生成一个连贯的、类似于自然语言的后续文本。文心一言可用于多种场景,如生成故事、机器人对话、信息查询等。
而CHATGPT则是OpenAI在2020年末发布的更大规模的语言生成模型。它是在GPT-3的基础上发展而来,具有更强大的生成能力和理解能力。CHATGPT的目标是模拟一个真实的对话伙伴,用户可以与它进行更深入的、类似于真人对话的交流。CHATGPT被广泛应用于聊天机器人、智能客服等场景,并在对话生成方面取得了显著进展。
所以从发布时间来看,文心一言比CHATGPT早,但CHATGPT在生成能力和对话交流方面更加强大。这两个模型都在不断的发展和优化中,为用户提供更好的语言生成体验。
百度文心一言是每日更新的一句古诗词,旨在激发读者的思考,增强文人文魂。我期待文心一言能够带给我更多美好的文学体验,更深刻的文化意境,以及更多有趣的历史故事。进入3月中旬,全球科技巨头再次竞相亮相大语言模型赛道。
一周之内,开发出ChatGPT的美国初创公司OpenAI,对OpenAI投入巨资的科技巨头微软,以及中国互联网龙头企业百度,相继发布了在大语言模型(LLM)领域的最新动态。这也再次引发了全球对该领域的关注。
当地时间3月14日,OpenAI公布了其大型语言模型的最新版本——GPT-4,它比GPT-3.5的问答质量和技术都有明显提升。
3月16日下午,百度开启新一代大语言模型、生成式AI产品文心一言测试,从而成为第一家加入该赛道竞争的中国企业。
在发布会现场,百度创始人、董事长兼首席执行官李彦宏通过问答的形式,展示了文心一言在文学创作、商业文案创作、数理推算、中文理解、多模态生成等五个使用场景。几个小时后,微软宣布,将把GPT-4接入Office全家桶,新名为“Microsoft 365 Copilot”。
正如财经E法在2月17日发布的文章(OpenAI独家回应|ChatGPT为何不向所有中国用户开放注册?)所述,中国内地和中国香港的手机号均无法注册ChatGPT账号。虽然OpenAI的应用程序编程接口(API)已向161个国家和地区开放,但不包括中国内地和中国香港。
一方面,业界普遍关注,在AIGC(生成式人工智能)势不可挡的科技浪潮中,谁将成为下一个弄潮儿?另一方面,在中美科技竞合的敏感期,各方亦颇为关注百度迈出的第一步带来的涟漪,以及中国企业该如何应对。01“真的ready了吗?”
3月16日,李彦宏身着白衬衫和运动鞋演讲。开场就直面疑问,“最近一段时间,很多朋友问我,为什么是你们真的ready了吗”?
李彦宏的回答是,虽然百度已投入AI研究十多年,为发布文心一言做了充分准备,但“不能说完全ready了”,因为文心一言对标ChatGPT、甚至是GPT-4,门槛很高,还“有很多不完美的地方”。但他强调“一旦有了真实的人类反馈,文心一言的进步速度会非常快”。
李彦宏解释,之所以选择当天发布,是因为市场有需求:客户和合作伙伴都希望能早一点用上最新最先进的大语言模型。
如何理解李彦宏所言的“对标GPT-4的门槛很高”?
当地时间3月14日,OpenAI公布了其大型语言模型的最新版本——GPT-4。GPT-4是大型的多模态模型,即能够接受图像和文本类型的输入。而GPT-3.5只能接受文本输入。
在演示视频中,OpenAI总裁兼联合创始人格雷格·布罗克曼(Greg Brockman)用笔和纸画了一幅网站草图,并将图片输入GPT-4。仅1到2秒后,GPT-4就生成了网页代码,制作出了与草图高度相似的网站。根据OpenAI发布的实验数据, GPT-4模型相较前一代GPT-3.5已取得了巨大的进步,在许多专业测试中表现出超过绝大多数人类的水平。
浙江大学国际联合商学院数字经济与金融创新研究中心联席主任盘和林认为,文心一言未来还有待全面开放来获得用户检验。无论是通过B端API还是直接向C端用户开放,用户体验口碑都是硬道理。当前ChatGPT没对中国用户开放,在国内市场,百度将获得先发优势。
对OpenAI和百度的产品均做过测评的艾媒咨询CEO兼首席分析师张毅表示,GPT系列大模型,包括GPT-4与文心一言本质上都是同一类产品,只是它们各自的数据覆盖范畴和数据模型的积累长短不一。从短期看,OpenAI的产品准备时间相对更加充足,智能程度暂时领先一些。但是对文心一言而言,能在这么短的时间内训练出这样的一个产品,也是非常了不起的。
张毅也对百度做出更好产品更有信心,他的理由是,从人工智能、大数据、大模型的人才储备来看,中国会更有优势。
中央财经大学数字经济融合创新发展中心主任陈端则认为,与海外竞争对手相比,百度最大的优势是立足本土,构建了语言和文化层面理解的护城河。
作为中国公司研发的大语言模型产品,文心一言的中文理解能力备受关注。重要原因是,此前很多评论人士认为,ChatGPT的中文问答能力不如英文问答能力强。
李彦宏表示,作为扎根于中国市场的大语言模型,文心一言具备中文领域最先进的自然语言处理能力。在现场展示中,文心一言正确解释了成语“洛阳纸贵”的含义、“洛阳纸贵”对应的经济学理论,还用“洛阳纸贵”创作了一首藏头诗。李彦宏称,文心一言的训练数据包括:万亿级网页数据,数十亿的搜索数据和图片数据,百亿级的语音日均调用数据,以及5500亿事实的知识图谱等,这让百度在中文语言的处理上能够独一无二。
受访专家也指出,由于汉语的特殊性,中国企业在研发大模型时面临的难度更大,但若突破了,也会在提供本土服务时,具备更大的优势。
法国里昂商学院人工智能与商业分析教授丁文璿日前对媒体指出,语言对话模型训练,需要让机器对文字产生理解,英语比中文稍微容易一些。丁文璿解释,中国人工智能技术所处理的中文语言,大多都是象形词,而英文是解释性的,相较而言词语也并非特别丰富。
上海交通大学约翰·霍普克罗夫特计算机科学中心助理教授林洲汉认为,未来大语言模型大概率会往多模态、交互式的方向发展,进一步将视觉、语音、强化学习等领域的技术综合进来。李彦宏也表示:“多模态是生成式AI一个明确的发展趋势。随着百度多模态统一大模型的能力增强,文心一言的多模态生成能力也会不断提升。”
在多模态生成方面,李彦宏展示了文心一言生成文本、图片、音频和视频的能力。文心一言在现场用四川话朗读了一段内容,并根据文本生成了一段视频。但李彦宏透露,文心一言的视频生成成本较高,现阶段还未对所有用户开放,未来会逐步接入。
李彦宏称,文心一言的训练数据包括:万亿级网页数据,数十亿的搜索数据和图片数据,百亿级的语音日均调用数据,以及5500亿事实的知识图谱等,这让百度在中文语言的处理上能够独一无二。
受访专家也指出,由于汉语的特殊性,中国企业在研发大模型时面临的难度更大,但若突破了,也会在提供本土服务时,具备更大的优势。
法国里昂商学院人工智能与商业分析教授丁文璿日前对媒体指出,语言对话模型训练,需要让机器对文字产生理解,英语比中文稍微容易一些。丁文璿解释,中国人工智能技术所处理的中文语言,大多都是象形词,而英文是解释性的,相较而言词语也并非特别丰富。
上海交通大学约翰·霍普克罗夫特计算机科学中心助理教授林洲汉认为,未来大语言模型大概率会往多模态、交互式的方向发展,进一步将视觉、语音、强化学习等领域的技术综合进来。李彦宏也表示:“多模态是生成式AI一个明确的发展趋势。随着百度多模态统一大模型的能力增强,文心一言的多模态生成能力也会不断提升。”
在多模态生成方面,李彦宏展示了文心一言生成文本、图片、音频和视频的能力。文心一言在现场用四川话朗读了一段内容,并根据文本生成了一段视频。但李彦宏透露,文心一言的视频生成成本较高,现阶段还未对所有用户开放,未来会逐步接入。发布会前后,百度的股价经历了大落大起。3月16日,港股百度盘中股价跌幅一度扩大超10%,报120.1港元。截至收盘,百度股价跌幅为6.36%,报125.1港元。但百度股价在美股势头强劲,当日百度美股开盘低开高走,振幅超7%。截至收盘,报138.16美元,涨幅为3.8%。3月17日,百度港股表现强势,盘中一度大涨超15%。截至当日收盘,百度港股涨幅为13.67%,报142.2港元。
文心一言宣布开启邀请测试一小时内,排队申请文心一言企业版API调用服务测试的企业用户已达3万多家,申请产品测试网页多次被挤爆,百度智能云官网流量飙升百倍。
文心一言的市场热度持续飙升,资本市场也给予了价值重估。张毅认为,这也代表了公众对大语言模型/生成式AI “既期待,又担忧,然后是希望”的心情。02谁都不能错过的科技革命
“真的ready了吗?”并不仅针对百度,也是伴随此轮“ChatGPT”热潮以来,公众普遍的疑问。
李彦宏观察到,从2021年开始,人工智能技术开始从“判别式”向“生成式”转变。
创新工场董事长兼CEO李开复3月14日在一场趋势分享会上表示,AI 2.0时代的第一个现象级应用,就是以GPT-4为代表的AIGC,又称生成式AI(Generative AI)。李开复表示,AI2.0 是绝对不能错过的一次革命,它将会是一个巨大的平台性机会,这个机会将比移动互联网大十倍。他还表示,AI 2.0也是中国在AI领域的第一次平台角逐机会。
受访专家普遍认为,此前全世界的AI企业都遇到了一个极大的问题:即使技术储备十分丰富,AI应用并没有给它们带来丰厚的收益。造成这一问题的原因在于,AI产品的应用主要集中在B端(企业用户)和G端(政府用户),AI产品在进入企业或机构时往往流程复杂,这在某种程度上会限制AI产品在市场上的快速扩张。
张毅认为,AIGC的产品应用方向在C端更有可能产生巨大的商业机会。他分析说,在美国市场,此前C端市场被谷歌、亚马逊、Meta等企业抢占,让微软压力非常大,更需要一款产品来扳回一局。在中国市场,百度的优势和谷歌一样,都有强大的搜索引擎对数据的抓取能力,以及储存、整理、分析能力的基础。中国本身拥有十几亿人口的巨大市场,百度完全可以做得很优秀。
“百度和微软、谷歌本质上是两个不同市场的竞争,所以我相信文心一言以及系列产品也一定会跑出来。”张毅说。
李彦宏坚称,文心一言不是“中美科技对抗的工具”。但他也承认,ChatGPT 的成功,加快了百度推出该产品的进度。
百度CTO王海峰表示,人类进入AI时代,IT技术的技术栈可以分为四层:芯片层、框架层、模型层和应用层。百度是全球为数不多、在这四层进行全栈布局的人工智能公司,在各个层面都有领先业界的自研技术。高端芯片昆仑芯、飞桨深度学习框架、文心预训练大模型以及搜索、智能云、自动驾驶、小度等应用。王海峰认为,百度全栈布局的优势在于,可以在技术栈的四层架构中,实现端到端优化,大幅提升效率。
文心一言与ChatGPT一样,都使用了SFT(模型微调)、RLHF(从人类反馈中进行强化学习)以及Prompt(提示)作为底层技术。文心一言还采用了知识增强、检索增强和对话增强技术。王海峰表示,这三项是百度已有技术优势的再创新。
陈端认为,在当前技术创新的集成性越来越高的当下,全栈式布局的单一公司在内部技术研发统筹能力和后期商业化进行中的协同能力上具有比较优势。
信心很重要,但差距无法忽视。
在本月初的两会期间,中国科技部部长王志刚在回应ChatGPT相关的问题时,用足球打比方,指出中国还有很多工作要做。“踢足球都是盘带、射门,但是要做到梅西(足坛巨星利昂内尔·梅西)那么好也不容易。”
王志刚指出,中国在这方面也作了很多布局,在该领域的研究也进行了很多年,并且有一些
成果,“但目前要达到像 OpenAI 的效果可能还要拭目以待”他补充道。
王志刚说,ChatGPT出来以后,引起了大家的关注。实际从技术本身源头来讲,它叫做NLP、NLU,也就是自然语言处理和自然语言理解。ChatGPT之所以引起关注,在于它作为一个大模型,有效结合了大数据、大算力、强算法,计算方法有进步。同样一种原理,做得有区别。比如大家都能做出发动机,但质量是有不同的。
无论是ChatGPT还是文心一言,其背后的大语言模型是核心竞争力。北京大学王选计算机研究所研究员赵东岩告诉财经E法,国内大模型在数据、训练方法和费用投入方面和OpenAI还有一定差距。
一位科技系统人士则对财经E法指出,客观而言,中美目前在该领域的基础研究成果差距较大。这些基础研究成果包含自然语言处理(NLP)、数据库、GPU产品,“美国切断GPU芯片(的供应),(中国的)算力就跟不上”。
大型算力的核心在于高性能GPU芯片。北京航空航天大学软件学院助理教授周号益告诉财经E法,在GPU芯片等计算硬件上,中国与国际的差距在十年左右,硬件水平会严重制约大语言模型以及科学计算类模型的发展。
周号益认为,在技术和模型上,中国的科技公司与OpenAI并没有代差,差距仅在五年以内,在一些较小的技术领域差距只有2-3年。在数据采集方面,以GPT-3大模型为例,其训练的语料中中文只占5%,中国科技企业对中文语料的积累具有一定优势,因此极有可能在中文领域实现突破。03巨头下一步:构建生态
对于以ChatGPT为代表的大语言模型赛道如何实现盈利,是各方公认的难题(ChatGPT爆火的冷思考:盈利难题与治理挑战)。
开发出ChatGPT的OpenAI仍是一家亏损中的创业公司。而2023年1月,投资银行摩根士丹利(Morgan Stanley)的一份分析报告称,ChatGPT的一次回复成本大约是谷歌搜索查询平均成本的6倍-28倍。
但腾讯研究院高级研究员曹建峰和经纬创投前副总裁庄明浩都认为,ChatGPT能带来多少盈利,并不是OpenAI关注的重点,重点是基于它的模型能长出什么样的服务和应用,从而构建起一个生态系统。“ChatGPT的发展需要一个产业生态,比如它和微软相关应用的融合就是很好的思路。”曹建峰说。
当地时间3月15日,微软副总裁兼消费者首席营销官余瑟夫·梅迪发文表示,新版必应搜索引擎已经在 GPT-4 上运行。另据OpenAI披露,GPT-4是在微软Azure AI 超级计算机上进行训练的,并将基于Azure 的AI基础架构向世界各地的用户提供 GPT-4服务。
谷歌则宣布开放其大语言模型PaLM的API接口,并推出面向开发者的工具MakerSuite。通过PaLM API 接口,开发者们可以将PaLM用于各种应用程序的开发。MakerSuite则可以让开发者快速对自己的想法进行原型设计,并且随着时间的推移,该工具将具有用于快速工程、合成数据生成和自定义模型调整的功能。
微软迅速跟进。当地时间3月16日,微软宣布将把GPT-4接入Office全家桶。新功能名为“Microsoft 365 Copilot”。
李彦宏则在发布会上表示,文心一言定位于人工智能基座型的赋能平台,将助力金融、能源、媒体、政务等千行百业的智能化变革。
根据文心一言的邀请测试方案,3月16日起,首批用户可通过邀请测试码,在文心一言官网体验产品,后续将陆续开放给更多用户。百度智能云即将面向企业客户开放文心一言API接口调用服务。该服务于3月16日起开放预约。
截至3月18日早11点,排队申请百度智能云文心一言企业版API调用服务器测试的企业用户增加到9万家,百度收到关于文心一言合作的咨询 6588条。
陈端认为,这一轮的竞争,不仅是商业主体的竞争,实际上也是关乎下一轮国家数字竞争力的竞争。百度的当务之急不完全是技术层面的研发,也需要引领更多初创型企业、生态合作伙伴加盟生态阵营。
在陈端看来,中国在构建生态系统上具有优势。陈端指出,中国的移动互联网经过多年发展,应用层生态化的配套创新已经非常成熟。应用层的很多中小微创业团队,在过去配合移动互联生态做了大量的局部、垂类场景端的创新,把过去的这种模式以及底层基础设施从移动互联迁移到大模型领域依然适用。04中小企业还有机会吗?
面对大语言模型的浪潮,中国企业该如何抓住机遇,避免风险?
布局ChatGPT的企业有两种类型:第一种是传统的互联网大公司,第二种是一些初创企业。
陈端认为,目前市场上的初创公司已经错过了布局大模型的初始创业阶段。陈端分析说,
重新打造生成式AI企业,跟时机、底层的生态支撑度,还有创始人自身的阅历、经验、视野、个人IP的自然调动能力都是息息相关的。大模型在前期的投入,不管是算力还是其他的成本,以及时间窗口都很重要。
陈端表示,百度有能力把自己的其他的产品与文心一言协同,就像微软把Office与GPT-4协同推出Copilot,而“创业者单纯去拼大模型却没有配套生态,这是很成问题的”。
张毅也认为,对于能够有资金、实力支撑的企业来讲,单独构建大模型产品可能会更受资本和创业者的青睐。但对于中小企业来讲,依托文心一言的开放平台去嫁接自己在细分领域的应用,也是一个不错的选择。
因为要做出大语言模型,需要长时间,以及巨额资金的投入。
OpenAI成功的背后,是微软多年来的巨额投入。美国时间2023年1月23日,微软宣布将对OpenAI进行为期数年、价值数以十亿计美元的投资。在2019年和2021年,微软曾向OpenAI两次投资。2019年的投资为10亿美元,而2021年的投资未公开金额。
AI公司“彩云科技”的创始人袁行远在接受36氪采访时指出,要想跑通一次100亿以上参数量的模型,至少要做到“千卡/月”这个级别,即:用1000张GPU卡,然后训练一个月。即使不用最先进的英伟达A100,按照一张GPU五万元的均价计算,1000张GPU意味着单月5000万的算力成本,这还没算上算法工程师的工资。
“无论是哪家公司,都不可能靠突击几个月就能做出这样的大语言模型。”李彦宏在发布会上表示,深度学习、自然语言处理,需要多年的坚持和积累,没法速成。大模型训练堪称暴力美学,需要有大算力、大数据和大模型,每一次训练任务都耗资巨大。
百度提供的数据显示,百度近十年累计研发投入超过 1000 亿元。2022 年百度核心研发费用 214.16 亿元,占百度核心收入比例达到 22.4%。但百度并未透露大模型研发在核心研发费用中的占比。
李彦宏在发布会上表示,百度对文心一言的定位,是一个通用的赋能平台,金融、能源、媒体、政务等千行百业,都可以基于这个平台来实现智能化变革,实现效率提升,创造巨大的商业价值。李彦宏认为,大模型时代将产生三大产业机会,分别为新型云计算公司、进行行业模型精调的公司和基于大模型底座进行应用开发的公司,即应用服务提供商。
李彦宏断言,对于大部分创业者和企业来说,真正的机会并不是从头开始做ChatGPT和文心一言这样的基础大模型,这很不现实,也不经济。基于通用大语言模型抢先开发重要的应用服务,这可能才是真正的机会。基于文本生成、图像生成、音频生成、视频生成、数字人、3D等场景,已经涌现出很多创业明星公司,可能就是未来的新巨头。
“大模型、生成式AI最终的产品形态还不得而知,所以这条路注定是长跑,需要整个科技界在资本、研发、模式创新上密切、持续地跟跑。”张毅说。
李开复认为,AI2.0会最先应用在能容错的领域,而毫无疑问最大的应用领域现在是内容创造。每个领域都可以把原有的App重写一次,创造出更赚钱的商业模式,最终AI2.0的生成能力会把成本降的几乎到0。
有
百度有类似ChatGPT的工具叫文心一言(英文名:ERNIE Bot),是百度推出的一款聊天机器人。会在2023年3月份完成内测,再向公众开放。
目前百度已经开放了部分 API,比如「ERNIE 3.0 文本理解与创作」、「ERNIE-ViLG AI 作画大模型」、「文心 PLATO 对话生成」
chatgpt国内有类似产品,为文心一言
文心一言往往包含有深刻的哲理思想,比如“为非作歹,得非为苟”,令人充满智慧与启发。
ERNIEBOT,中文名为「文心一言」百度有类似ChatGPT的工具叫文心一言(英文名:ERNIE Bot),是百度推出的一款聊天机器人。会在2023年3月份完成内测,再向公众开放。
目前百度已经开放了部分 API,比如「ERNIE 3.0 文本理解与创作」、「ERNIE-ViLG AI 作画大模型」、「文心 PLATO 对话生成」。
答:文心一言意思是表述深刻思想、智慧语言,用简洁明了的一句话来表达。文心一言往往包含有深刻的哲理思想,比如“为非作歹,得非为苟”,令人充满智慧与启发。
文心一言是百度基于文心大模型技术推出的生成式对话产品。
百度在人工智能四层架构中,有全栈布局。包括底层的芯片、深度学习框架、大模型以及最上层的搜索等应用。文心一言,位于模型层。百度在人工智能领域深耕数十年,拥有产业级知识增强文心大模型 ERNIE ,具备跨模态、跨语言的深度语义理解与生成能力。
文心一言是百度基于文心大模型技术推出的生成式对话产品,文心大模型具备跨模态、跨语言的深度语义理解与生成能力,预计其在搜索问答、内容创作生成、智能办公等众多领域将有应用场景。不同于ChatGPT火于C端,文心一言有望在B端快速建立生态。相关公司接入有望为前沿AI技术提供落地场景,百度AI技术能力也有望助力相关公司AIGC能力,传媒互联网领域游戏、广告营销、影视内容创作、在线文稿生成、数字人运营等业态有望革新。
语言不同:文心一言基于英文,而盘古大模型基于中文。在处理中文时,盘古大模型可能会更准确,更符合语境。
应用领域不同:文心一言主要应用于自然语言处理,而盘古大模型则主要应用于图像处理和语音处理。
算法不同:文心一言主要采用Transformer算法,而盘古大模型则采用RNN算法。
它们在语言、应用领域和算法等方面都有所不同。
文心一言和盘古大模型都是基于深度学习技术训练的语言模型,它们在某些方面的表现和应用而言,二者还是存在一些区别的。
盘古大模型,是由北京智源人工智能研究院研发的一种基于Transformer架构的预训练语言模型,其建立了一种深度神经网络,使用海量的语料库进行预训练,可以生成高度准确、流畅的文本。它的出现,整个领域都发生了巨大变化,使得机器可以更准确地理解和生成自然语言。
而文心一言是一款全新一代的知识增强大语言模型,它能够与人对话互动,回答问题,协助创作,高效便捷地帮助人们获取信息、知识和灵感。
文心一言和盘古大模型是两种不同的文字生成模型。
文心一言是一个中文短文生成模型,它可以根据给定的主题或关键词生成一段富有灵感和感情的短文。它的目标是通过短文的方式表达独立的思考和个人感受。
盘古大模型是一个中文自然语言处理模型,它是根据深度学习技术训练的,可以用于中文的语言理解和生成任务。它可以实现文本分类、情感分析、文本生成等任务。盘古大模型的目标是更全面地理解和生成中文文本,可以应用于各种自然语言处理的任务。
文心一言和盘古大模型是两个不同的语言生成模型。
文心一言(TextHeart)是一种基于深度学习的中文短文生成模型,主要用于生成具有情感色彩的短文本。它通过训练大量的中文语料,学习其中的语法和语义规律,然后在给定情感类别的情况下,生成符合该情感的短文。
盘古大模型(GPT)是一种基于Transformer模型的语言生成模型,其综合了多个领域的数据进行训练,具有更加强大和全面的语言理解和生成能力。它可以生成更长、更连贯、更有逻辑性的文本,且不限于情感类别。
区别在于它们的训练数据和生成能力。文心一言主要用于生成具有情感色彩的短文本,而盘古大模型可以生成更加全面和复杂的文本,但可能在情感表达上没有文心一言精确。
文心一言和盘古大模型都是中文预训练语言模型,但是它们的算法复杂度和训练参数量不同。文心一言是基于清华大学 KEG 实验室和智谱AI共同开发的 GLM 模型,相较于 ChatGPT 的 GPT-3.5 模型,文心一言的算法复杂度相对较低。而盘古大模型是华为开发的一系列大规模自回归中文预训练语言模型,包括 NLP 大模型、CV 大模型、多模态大模型、科学计算大模型等。
1. 文心一言和盘古大模型有区别。
2. 文心一言是一种古代文学批评方法,主要用于分析和评价文学作品的艺术特点和内涵,强调对文学作品的感悟和理解。
而盘古大模型是一种科学模型,用于描述宇宙的起源和演化过程,包括宇宙大爆炸、星系形成等。
3. 尽管两者都是用来和理解事物的方法,但文心一言更侧重于文学领域,注重主观感受和审美价值的评判,而盘古大模型更注重客观事实和科学原理的,用于研究宇宙的物理规律。
文心一言是一种短小精悍的文学作品,通常只有一两句话,以简洁、有力的语言表达情感或思想,具有艺术性和传达性。而盘古大模型是一个物理模型,用于描述宇宙诞生的起源和发展过程,认为宇宙的诞生始于一个巨大的爆炸事件,碎片演化为星系、恒星等物质。
两者在形式和内容上有明显的区别,文心一言偏向于文学艺术,而盘古大模型是科学领域的理论模型。