AI一进步,人类就激动,不是高喊产业革命、创新奇点,就是惊呼工人失业、人类灭亡。人机关系随之陡然绷紧,比如现在,就充满了呼喊的张力。
新近爆红的chatGPT让人激动不已。开发者OpenAI公司设计了巨大的语言模型,投入巨大资金,通过巨大的算力来训练机器写小作文,将机器的聊天水平提高了那么一点点,人类反应敏捷地大呼小喊起来。
自深度学习算法提出以来,人类致力于让机器断文识字,这个过程被称为NLP,搞了许多年,结果搞出好几个弱智,这个工作再无进展。
chatGPT能写小作文,这的确是NLP工作向前迈进的一大步,但只是AI的一小步。
chatGPT本质是一个文字型的聊天机器人,它通过算法改良,改善了人机交互体验,但AI并没有因此产生思考能力,也没有甩掉弱人工智能的标签。
试问聊天机器人会革谁的命,哪个产业会因此爆发变成支柱产业?
你想多了,chatGPT不像三体人的智子那么可怕,你不会因此失业,人类也不会消亡。
所以,下面我们详细说说,为啥不必那么紧张,并扯扯有关技术创新、演变、冲击、竞争、商业化、商业前景、商业难题和国家差距等方面存在争议的问题。
1.ChatGPT的技术成份有多高?
确切的说,有三四层楼那么高。
ChatGPT 由 GPT-3.5 模型提供支持,与传统思路不同,它采用了一种半监督式的训练机器说话。这是它的创新所在,也是它的独到之处。
GPT,英文全称是Generative Pre-trained Transformer ,直译过来是生成型预训练-变形金刚 。
所谓生成型预训练,这是GPT的核心思想,即先给机器喂养大量无标签的文本进行“预”训练,生成一个初步的语言模型;然后再微调,根据具体的语言处理任务(如文本蕴涵、QA、文本分类等),通过有标签的数据对模型进行微调fine-tuning,使之不断完善,最后生成确定的模型,以便来应付同类任务。
名字前面加上chat,即“聊天生成型预训练-变形金刚”,之所以有这个Transformer,则是表明了其师承门派。
换言之,GPT是OpenAI公司基于谷歌的Transformer语言模型框架而开发出来的技术。
Transformer堪称巨人,它拯救了奄奄一息的NLP,为停滞不前训练机器说话工作开辟了新道路。
Transformer门下有许多徒弟,为何GPT鹤立鸡群了呢?
这是因为GPT模型迭代到GPT-3时,又引入了 " 利用人类反馈强化学习(RLHF)" 的训练方式,主要包括“人类提问机器回答、机器提问人类回答”,在此基础上,不断迭代,让模型逐渐具备了对生成答案的评判能力。
RLHF是GPT功力大增的大功臣。它也是让许多人激动失眠的一个重要因素。
RLHF较好解决了生成模型的一个核心问题---人机对齐(The Alignment Problem)。顾名思义,对齐即向人类看齐,在AI领域,特指让AI模型的产出,尽量与人类的常识、认知、需求、价值观保持一致,并遵循人类意图。
如安远AI认为,人机对齐问题是大模型通向安全、可靠的通用人工智能(AGI)所面临的巨大鸿沟,更是大模型的伦理和社会风险至今悬而未决的根源。
很多人测试后发现,引入人类偏好学习机制后,ChatGPT显得卓尔不群,它给出的回答不再像同类竞品那样生拼硬凑,更加贴近人类,不仅如此,ChatGPT学会了纠正提问中的错误,能够对一些敏感的问题做出回避。
这是chatGPT可以跟前辈聊天机器人说“我们不一样”的地方,由此形成了独特的技术优势。
不过也有许多人测试以后,给它贴上一个标签:“一本正经地胡说八道”。
算法优化,毫无疑问是技术进步,这算不算革命呢?
2.技术源头与演变
要说革命,必须要讲讲Transformer。
在Transformer诞生之前,人类训练机器听话的NLP过程主要依赖RNN算法(即循环神经网络:recurrent neural network),训练了几年以后,NLP陷入停滞不前。人们发现,RNN有个巨大的缺陷,太过依赖标注数据,不能并行处理,算法效率低下。很多人不服,想找到RNN之外的道路。
直到2017年,谷歌大脑团队发布论文《Attention Is All You Needed》,这是一篇起到革命宣言性质的文章,它率先提出了注意力机制(Attention),以此创造了一个全新的NLP模型--这个模型被命名为Transformer,不少专家将之翻译成变换器,但我觉得不如叫变形金刚更为贴切。
当时的Transformer模型有6500万个可调参数,经过大量训练后,该模型的工作能力明显提升,在翻译准确度、英语成分句法分析等各项评分上都达到了业内第一,成为当时最先进的大型语言模型(Large Language Model, LLM),于是被用于谷歌输入法和谷歌机器翻译。
Transformer模型克服了RNN的不足,很快取代了RNN的统治地位,深刻地影响了NLP的发展轨道路。
要说技术革命,实在是 Transformer革了RNN的命,打响了第一枪。
短短的几年里,Transformer模型的影响已经遍布人工智能的各个领域——从各种各样的自然语言模型、到预测蛋白质结构的AlphaFold2模型,都能看到Transformer的影子。
2018年6月,GPT-1问世,这个孩子继承了Transformer优秀革命基因,刻苦练功,GPT模型基本上是一年迭代一次,所使用的参数量也随之激增。
GPT-1有参数1.17亿个,貌不惊人;
2019年推出的GPT-2有15亿个参数,艺不出众;
2020年推出的GPT-3,参数高达1750亿个,重剑无锋。
2023年,GPT-4已经问世,参数量据说有100万亿个,跟人类的神经元一样多。据说达到了飞花摘叶均能伤人的独孤求败境界。
革命前辈Transformer是谁?啥,你不知道?
这就对了,这次小小的革命影响有限,主要限于NLP领域。
3.ChatGPT会不会取代搜索引擎?
chatGPT问世,搜索引擎紧张是必然的。
chatGPT会对搜索引擎造成冲击。它会大量分流搜索引擎的流量,降低搜索引擎的江湖地位,进而影响相关平台的业务。
要取代搜索引擎则较难,这两者差异较大。
一个明显的差异是用途不同。有博客做过分析:搜索引擎的核心是内容集合。你在搜索框输入关键字,然后你看到了大量的链接,再从中筛选自己需要的信息。
ChatGPT 属于内容再造(人工智能生产内容),是一种新的内容创作方式。你向它提问,它自己搜索大量资料,并对资料进行一定加工,输出一个答案,你可以连续提问,它根据上下文连续作答。
再一个差异是搜索范围不同。搜索引擎基于互联网,可以不分真假的搜索地图、天气、店铺、文库、视频、图片等等各种公开信息,而chatGPT受语料库所限,不能直接搜索网络信息,若库里没有内容,则无法给出答案,弱爆了。
so,目前的 ChatGPT 还取代不了搜索引擎。更别提要消灭工作岗位消灭人类了。
4.竞争对手
chatGPT的直接竞争对手不是搜索引擎,对手是它的同类--聊天机器人。
但是,chatGPT站在山顶上,一览众山小。哪有什么竞争对手呢?
国内没有对手。与chatGPT相比,国内一直没有水平相近的AI模型,也没有基于类似算法的成功解决方案。
为什么大家都不去做呢?原因在于罗锅上山--钱紧。
chatGPT太烧钱了。
这个聊天机器人的成功基于巨大语言模型,巨大语言模型依赖巨大算力,巨大算力需要耗费巨大资金,openAI公司自2015年成立以来到2022年底消耗了近40亿美元,至今仍然亏损需要融资延续发展。
据相关数据显示,GPT-3训练一次的费用是460万美元,总训练成本达到了1200万美元,不仅测试成本非常高,GPT技术对算力的要求也是目前AIGC技术领域最高的。
大模型、大算力和大资金构筑了雄厚的进入壁垒,难以超越,注定了chatGPT只能是巨头的禁脔,中小企业或创业公司是烧不起的。我国AI企业专注地致力于寻找应用场景赚钱,面对烧钱,明智的选择了回避。
国外能烧的起公司也屈指可数。
Meta这两年推销元宇宙不利,转头押宝AI。2022年5月,MetaAI官宣发布了基于1750亿参数的超大模型OPT-175B,还对所有社区免费开放。OPT全称Open Pre-trained Transformer Language Models,即“开放的预训练Transformer语言模型”。
作为Transformer门下小师弟,据报道说OPT和GPT-3的运行效果几乎没有什么区别,参数量也是很巧合的1750亿。不仅如此,Meta AI还将OPT技术做了开源,提供给所有需要的企业和个人作为研发的基础技术。
也许GPT-3对参数和算力的要求还能被一些有钱企业满足,如果换做是参数量翻了几百倍的GPT-4,能跑得动巨额参数的企业更加寥寥无几了。
OPT作为师弟,还没举行毕业典礼,还没有正式走出Transformer师门,chatGPT已经开始搅动江湖。
黑兔年。江湖大乱。
搜索引擎必须反击,必须推出超越chatGPT的产品,才能巩固自身江湖地位,增加用户粘性。否则,一味瞎紧张跟咸鱼有什么两样?
2023年2月,谷歌CEO发布了谷歌的下一代对话AI系统Bard,百度将其类ChatGPT产品名为ERNIE BOT,预计在3月份完成内部测试后公开发布。
谷歌为啥急吼吼搞聊天机器人?那还不是担心微软bing趁机来抢搜索引擎的地盘。话说,微软最新版bing已经集成了GPT4.0功能,并且可以借助edge浏览器全世界推广。面对此情此景,百度能抽身事外?
越来越多公司宣称自己正在内测类似chatGPT自家版本。怪事来了,openAI公司花了七年40亿美元才生出一个聊天机器人,你们几位平时也没见学习GPT,三两个月就搞出了一个同款?你这个速成品的RLHF机制怎样?你们建设的语料库有多大?不会翻车吧?
2月9日一大早传来消息,谷歌AI聊天机器人Bard首秀会上答错问题,导致公司股价大跌7.4%,市值蒸发近7000亿。速成品,好尴尬。
套壳行不行?
聪明的人已经想到,OpenAI在国外有许多开源项目,我们复制一个吧。
5.OpenAI变性的启示
答案是不行。OpenAI已经关上了 ChatGPT开源的大门。安卓可以套壳,windows谁听说过套壳?
OpenAI原本是不以追求利润为目标的AI研究机构,致力于开源模式推动AI技术进步。但没想到ChatGPT太烧钱了,构建大算力要烧钱,购买语料库大数据要钱,训练大模型要烧钱,OpenAI太缺钱了。
2023年1月10日,彭博社爆出微软准备向OpenAI追加100亿美元投资。据说,微软与OpenAI已经就此次投资谈判了好几个月。
OpenAI有多想拿到这笔钱?该公司从 2015年创建以来一直烧钱,七年来,OpenAI共收到了40亿美元的投资,2022一年烧掉5亿美元,算算兜里也所剩无几了。
人工智能研发需要庞大的资金。一个非营利组织在筹款上是有极限的,而弥补成本最有效的方式,就是改变现有架构。
ChatGPT还会开源吗?答案是不会。
GPT2.0是开源的,但自从2019年10月接收了微软第一笔投资后,GPT3.0就不再开源了。公司也随之改变open性质,变成营利组织。《麻省理工科技评论》撰文批评曰:背离马斯克创立初衷,理想主义被盈利压力碾碎。
你想想,2023年,微软向ChatGPT追加100亿美元投资,双方签对赌协议,大家以后还会讨论开源问题吗?不,该讨论商业前景问题了。
6.一个聊天机器人会有什么商业前景?
不得不说,openAI正在走模仿微软的路。
先走的是C端的路。
ChatGPT虽然不开源,但开放了API接口,催生了一批开源项目。ChatGPT占据产业源头,大量开源开发者处于产业下游,开发应用吸引C端用户。这套玩法明显是微软套路,自己windows垄断市场,培养企业开发软件,最终用户为此买单。
经过不少用户使用发现 ChatGPT 已经可以实现诸如智能聊天、写作、编程、批作业、改 Bug、撰写周报、砍价、作诗等工作。更有甚者,还把它直接当虚拟机使用。如果你想玩,就要花钱。ChatGPT于2023年1月推出了收费版本,付费订阅,ChatGPT Plus订阅版每月收取20美元,约合人民币134元。开源项目亦步亦趋的也推出了收费项目。
C端路能否走通?网上争议不小。
另一条是B端的路,明显走不通。
尽管OpenAI用钱烧出了GPT技术的壁垒,但是这一做法也有它的市场局限性。
如果要把GPT推广给行业用户,在巨大算力的要求下,没有几个企业可以承担得起GPT-3 的运作。比如我要请一个机器人会计师,那就要针对不同行业甚至不同企业针对性的训练会计机器人,训练一次几十万美元,还不知道要训练多少次才能成功,这种成本有几个企业能负担的起呢?
以此类推,其它岗位,莫不如此。
一个擅长“一本正经地胡说八道”的聊天机器人有多少商业前景?
正如一些AI程序员所说:ChatGPT的出现也只是AIGC的一次技术迭代升级罢了,它的应用前景还不明朗,现在就谈到劳动力替代和技术垄断,还太早了。
7.商业化面临的三个难题
一是版权问题。首先是侵权问题。
ChatGPT生成的内容,不是完全的出于自身创造,而更多的来自于“搬运”,有一些版权作品需要授权,否则容易带来侵权问题;其次归属问题,即便解决了搬运侵权问题,依然面临版权归属问题,ChatGPT生成的内容,无论是文本片段、代码、图像、视频……,这些新生成内容的版权所有者究竟是谁?依据这些AI生成内容产生的责任后果,谁来负责?
二是信息安全问题。
互联网公开信息规模庞大,但内容真假难辨,如果给语料库增加了不实信息,那么ChatGPT就会输出虚假的答案。
12 月 4 日,马斯克透露 ChatGPT 可以访问 Twitter 数据库,这意味着 ChatGPT 必然学习了许多缺少事实核查的数据。正因为垃圾答案泛滥,程序员问答网站 Stack Overflow 从 12 月 5 日开始,暂时禁止用户分享 ChatGPT 生成的内容。
ChatGPT输出的答案存在真假鉴别问题,也容易引发信息安全问题。一旦你生了病,但AI告诉你去大铁棍子医院找捅主任,如之奈何?
话说RLHF不是解决了“看齐”问题吗?RLHF太贵,高度依赖标注质量,有多少人工才有多少智能,各行各业要看齐的内容太多了,钱不够,难看齐。
三是社会尚未有接纳这个新生事物的准备机制,对监管挑战很大。
比如,欧盟在考虑,是否可以对数据收集施加相关的法律约束?我们在考虑,是否要求算法适应各国当地文化和价值观?而物业部门在想,是否需要弄一个部门规定,来保障AI获取和输出我认为可靠的数据?
这三个难题如不解决,ChatGPT及其小弟们在国内恐怕不会高歌猛进,很可能会变成谷歌雅虎,而不是微软。
8.我们距离ChatGPT还有多远?
ChatGPT崛起让很多人深深的体验了心痛的感觉。
ChatGPT一红,中国AI就发烧。
两下对比,国内许多AI企业,基本处于产业下游,没有能力构建自己的语言模型和语料库,此时也大言炎炎的声称自己正在向chatGPT靠拢;还有不少公司,平时穿着AI工作服,做着最低端的应用产品,平时靠套取政策补贴为生,现在出来也蹭一波热点;更有甚者,连一些市场公关公司,也急忙声称自己正研发应用的AI技术,走的也是chatGPT路线,于是乎股价嗖嗖上涨。
实事求是的说,国内缺少长期投入推动研发的科研氛围。国内AI企业侧重于技术应用,急于赚钱,即便在BAT等实力雄厚的巨头内部,一个AI项目如果2-3年内不能变现就会废弃,很少有机构能沉下心来,投入大量时间和资金进行核心技术创新。
要推动AI发展,就要解决资金问题,但资本市场又存在严重资金配置错位问题。举个简单例子,chatgpt走红以来,二级市场上概念股鸡飞狗跳,一些要死不活面临淘汰的企业得到了资本市场炒作,甚至变成了妖股,乌烟瘴气,让珍贵而有限的资金错配到了一些不该配置的地方。而一级市场的资本不敢无序配置,这就更令人唏嘘了。
9.回想一下
曾几何时,AI领域,自深度学习算法问世以后,中外企业热火朝天的做研究发论文,双方水平在伯仲之间;
很快的,中外出现两个方向,国外企业侧重于上游核心技术突破,而国内企业大量集聚于产业下游忙着收割变现,一些号称小巨人现身;
再后来,出现了科技禁令,还有瘟疫,许多企业苦苦挣扎……
任谁也没有想到,短短五六年间,国内外AI差距陡然拉大。国外有了openAI和deepmind双峰并立,国内则只能匍匐在山脚下仰望。
在山脚下称雄的巨人,不管怎样努力,总不及山顶上的一个孩子看得远。
这是怎么回事?
我想起了电影《功夫》里高手过招前问的问题:
“ChatGPT的艺术成份有多高?”
“很高,有三四层楼那么高。”
“你爬到了第几层?”
……