本文源自QQ公众号:萧为善(ID:giftxiao),作者:萧为善,头图源自:Kunming我从2020年已经开始做AI散播,由于是非职业出身,这几年始终在努力自学和消化,也期望让更多非职业人士能懂AIChatGPT兴起后,我以最大热情去阅读学术论文和各种专业材料,包括反复请教大数学模型方向的的专家,对ChatGPT逐渐逐步形成了一些此基础知觉。
因为前段时间许多非AI专业的朋友对ChatGPT颇感兴趣,今天分享出来期望能对大家有用一、ChatGPT并非聊天机器ChatGPT的Mach是大语言数学模型(LLM,也称大数学模型),本质是“聚合”(Generation)
,对话而已个角质所以ChatGPT用在其它应用领域,比如说谷歌将其与办公软件紧密结合(智能写电子邮件),与浏览器紧密结合,这是再正常不过的事情也不要因为“聚合”,而对AI已经开始惊讶遮住掉语句中的两个词,让AI进行填空题也是“聚合”,这种Tinchebray已经是AI应用领域里存在几十年的经典各项任务。
只不过以前AI只须要根据语句“猜到”中间那两个词,现在要“猜到”后面一堆的词,甚至逐步形成一篇浅显的文章Tinchebray这个逻辑还能指涉在AI原画上,遮掉两张人脸识别照片中的双眼,AI可以凭借定量分析补上一双它想像出的双眼。
AI原画就是靠这样一点点地猜想,不断地做积木,最后逐步形成两张崭新的画面二、ChatGPT并非突然冒出的,而是学术界持续科学研究的结果,是大数学模型走线的胜利ChatGPT产业发展的根源是预体能训练数学模型的产业发展预体能训练数学模型首先要归因于Google2017年明确提出transformer构架,。
爆发点是OpenAI在2020年明确提出的GPT-3,1750亿的大容量参数带来了许多远超过想像的能力,AI已经开始能解题、写代码等,曾经引起科技圈的许多讨论预体能训练数学模型是AI的崭新科学研究本体论,能让AI从传统各项任务型数学模型。
(一百个各项任务须要一百个数学模型,研发成本低),走向两个数学模型化解多种各项任务(先体能训练两个此基础数学模型,然后再针对下游各项任务进行微调),大数学模型亦然,其目标是one for all,两个数学模型化解所有各项任务,这就离通用型人工智慧不远了。
但并非所有人都看好大数学模型,暴力美学毕竟不太典雅,一些世界顶级AI学者在尝试其它道路,比如说朱松纯始终在提倡小数据、大各项任务他回国建立了北京通用型人工智慧科学研究院,其蓝图和OpenAI极为相似,都是产业发展通用型人工智慧三、ChatGPT是了不起的AI产品,但未必是0-1的原初技术创新。
诺贝尔奖获得者匹兹伐前段时间抨击ChatGPT缺乏技术创新,虽然听起来有点酸,但也反映了一种重要的视点对于AI人类学家来说,真正的原初技术创新,是CNN、BP、GAN、Transformer这样的关键性理论技术创新,他们构成AI的终极目标。
ChatGPT的了不起更多是工程上的,证明了大数学模型+HFRL(基于人类反馈的加强自学)的技术走线的成功它既并非HFRL的明确提出者,那是Google在2017年明确提出来的;ChatGPT重点使用的加强自学演算法PPO,也是业界的成熟演算法。
匹兹伐的抨击只不过也可以用于AlphaGo,许多人能把它当做AI的关键性技术创新,当做AI行业的里程碑式,只不过它而已加强自学的两个应用,原初技术创新有限(这里多说一句,腾讯跟随AlphaGo做了绝艺,那技术创新意义就更加有限了)。
四、ChatGPT的成功背后,是OpenAI坚持走不寻常路Google基于Transformer做了BERT,直接改变了自然语言理解(NLU)这个应用领域,引起了多数AI人类学家的跟随但OpenAI另辟蹊径,并非去做理解,而是做聚合。
(generation),所以有了GPT(Generative Pre-trained Transformer)系列数学模型从GPT-1到GPT-3,OpenAI做了两年多时间,用大力出奇迹的办法(GPT-3体能训练成本低达百万甚至千万美金)。
,证明了大数学模型的可行性,参数从1.17亿飙升至1750亿,也似乎证明了参数越多大,AI能力越强也因此,在GPT-3成功后,包括Google在内竞相追逐做大数学模型,参数高达惊人的万亿、甚至10万亿规模,掀起了一场参数竞赛。
但这时候,反而是OpenAI沉寂了下来,没有再推高参数,而是又用了近两年时间,将人类反馈和加强自学引入大数学模型业界虽然也有人在做类似工作,将知识融入大数学模型,将加强自学引入大数学模型…但大都是试探性的,没有大手笔和坚持不懈的投入,因为这条技术走线始终未被有效证明。
Open AI延续大力出奇迹的方法,花费重金,用人工标注大量数据,从而跑通了这条技术走线由于学术论文没有公开,我们目前无从知道标注量,但数量肯定是极大的,成本是极高的可以佐证的是,Open AI这几年只有GPT、DALL等少数几个项目,但却花费了数亿美金,之前甚至遭到许多媒体的质疑。
五、ChatGPT现在暴露出来的问题,大多并非真问题对ChatGPT的许多抨击是,它聚合的内容经常是不真实的,或者是带有偏见的,ChatGPT很有可能会污染互联网作为两个技术进步主义者,我倾向于认为这样的指责除了展现抨击者的道德优越感外,意义不大。
因为AI技术一大特点就是它能快速进步,昨天的问题到今天也许有些困扰,但到了明天就并非问题GPT-3出来时,曾经出现过两个广泛流传的质疑,如果你问它太阳有几只双眼,它会回答一只或两只,抨击者以此来证明GPT-3缺乏常识。
GPT-3也经常出现一本正经的胡说八道的现象,离题万里或者内容经不起验证但在ChatGPT上,这些已并非大问题,它难免还是会出错,但大体还是较为合理、有根据的,它甚至拥有了自我纠正的能力如果经常使用ChatGPT,还会发现,ChatGPT特别会讲政治正确的话,会搞平衡,避免歧视和偏见。
比如说当你问A和B谁更好时,它会回答说各有优势,这就是不断体能训练优化的结果按照这样的速度产业发展,ChatGPT的理性完备程度会远超过想像当然,ChatGPT还是会被不当利用,比如说一些学生拿去写作业造假,但很难算是ChatGPT的错……互联网的出现,让抄袭变得轻而易举,让低质量信息泛滥,我们也许会偶尔怀旧纸质时代,但不大可能回去。
ChatGPT而已两个工具,如何利用好工具,这是人类要面临的问题,而并非工具本身的问题何况,还有以魔法来对抗魔法,既然可以有ChatGPT聚合内容,那同样可以有数学模型来做对抗性的检测ChatGPT无疑导致人员失业——这是技术进步必然带来的副产品,已经在人类历史中多次重演。
ChatGPT注定会替代某些低水平、重复性的劳动,让一些岗位消失,但也会带来一些新的、更具创造性的岗位从农业时代进入工业时代,再从信息时代进入AI时代,人类的工作和生活注定迎来巨变,我们须要积极拥抱变化,而并非期待回到过去。
六、中国企业没有做出ChatGPT,可以骂,但不值得鞭笞中国在AI应用领域缺乏原初技术创新、跟随美国的确是现状,要分析原因能说出一大堆,但我们不必因此就妄自菲薄从全球来看,AI行业已经逐步形成了一超一强的格局,一超指美国,一强指中国,其它国家不足道矣。
(虽然加拿大有Hinton,英国有DeepMind),因为只有这两个国家才逐步形成了AI的全面科学研究和广泛的产业应用,这和互联网行业的产业发展紧密相关当然,更是因为AI行业的极致开放,AI科学研究没有秘密可言,这才让AI技术产业发展迅速,日新月异在这里并非形容词,一些榜单成绩的刷新甚至以天来计算。
我们虽然没有第两个推出ChatGPT,但并不代表我们这方面的工作处于空白或者卡脖子状态(AI和芯片全然不同)可以确定地说,中国版的ChatGPT的推出而已时间问题,几个月或者最多一年,因为我们已经在路上了。
ChatGPT的核心是GPT系列数学模型,中国一些企业已经打造出GPT-3水准的大数学模型,重点是要再加入SFT(Supervised Fine-Tuning)和HFRL这固然并非容易的事情,但在技术走线已经被证明的情况下,肯定可以实现,别怀疑中国人的工程能力。
......先写到这里,最后说说个人感想20年我刚入AI行业时,整个行业充满了悲观的论调,深度自学撞墙,AI泡沫即将破灭,尤其是以AI四小龙流血上市、大厂裁撤AI Lab标志,AI行业仿佛岌岌可危……但ChatGPT等AIGC技术在2022年的出现,一扫阴霾,AI仿佛新生,已成全民热议的话题。
我相信这种轮回还会不断出现,AI技术目前远远没有达到成熟的程度,AI产业还极为稚嫩但这可能就是AI的魅力,当你以为AI技术不过如此、AI产业就是这个样子的时候,某一项AI技术的突破,忽然打开了新的天空,让外人看起来石破惊天。
(因为非AI专业出身,上述观点难免有错,欢迎专家抨击指正。)本文源自QQ公众号:萧为善(ID:giftxiao),作者:萧为善
还木有评论哦,快来抢沙发吧~