您当前的位置:首页 > 电脑百科 > 人工智能

ChatGPT为什么这么强

时间:2022-12-07 13:55:09  来源:  作者:人工智能研究

1. 从周五到周末ChatGPT已经疯传开来,其对话能力让人惊艳。从玩梗、写诗、写剧本,到给程序找bug,帮人设计网页,甚至帮你生成AIGC的提示词,一副无所不能的样子。可以去Twitter上看Ben Tossell梳理的一些例子,或者自己去试试!一位MBA老师让ChatGPT回答自己的管理学题目,结论是以后不能再布置可以带回家的作业了。很多人用了以后无法自拔,就如这位所见:

Musk问ChatGPT怎么设计Twitter(不得不说还挺有创意):

2. 有人让ChatGPT参加了智商测试,得分83; SAT测试得分1020,对应人类考生52%分位。要知道ChatGPT并没有对数学方面做过优化,已经是相当不错的结果了。

3. ChatGPT的提升点

相比之前的GPT-3,ChatGPT的提升点在于能记住之前的对话,连续对话的感觉让人舒服。

ChatGPT可以承认错误,如果你认为他的回答不对,你可以让他改正,并给出更好的答案。

ChatGPT可以质疑不正确的前提,GPT-3刚发布后很多人测试的体验并不好,因为AI经常创造虚假的内容(只是话语通顺,但脱离实际),而现在再问“哥伦布2015年来到美国的情景”这样的问题,AI已经知道哥伦布不属于这个时代了。

ChatGPT还采用了注重道德水平的训练方式,按照预先设计的道德准则,对不怀好意的提问和请求“说不”;当然,尽管OpenAI非常小心,这种准则还是可能被聪明的提问方式绕开。

4. ChatGPT的训练方法

当下大模型的工作范式是“预训练-微调”。首先在数据量庞大的公开数据集上训练,然后将其迁移到目标场景中(比如跟人类对话),通过目标场景中的小数据集进行微调,使模型达到需要的性能。微调/prompt等工作从本质上对模型改变并不大,但是有可能大幅提升模型的实际表现。人类问问题方式对于GPT-3而言不是最自然的理解方式,要么改造任务,要么微调模型,总之是让模型和任务更加匹配,从而实现更好的效果。

ChatGPT是22年1月推出的InstructGPT的兄弟模型。InstructGPT增加了人类对模型输出结果的演示,并且对结果进行了排序,在此基础上完成训练,可以比GPT-3更好的完成人类指令。ChatGPT新加入的训练方式被称为“从人类反馈中强化学习”(Reinforcement Learning from Human Feedback,RLHF)。

ChatGPT是基于GPT-3.5模型,训练集基于文本和代码,在微软Azure AI服务器上完成训练。原先GPT-3的训练集只有文本,所以这次新增了代码理解和生成的能力。

5. 为什么ChatGPT的提升这么明显

除了带有记忆能力、上下文连续对话能带给人显著的交互体验提升,ChatGPT的训练方式也值得关注。上述提到的RLHF方法首见于22年3月发表的论文(Training language models to follow instructions with human feedback),但根据业界的推测,RLHF并未用到InstructGPT的训练中。InstructGPT所用到的text-davinci-002遇到了一些问题,会呈现出模式坍塌(mode collapse)现象,不管问他什么问题,经常收敛到同样的答案,比如正面情绪相关的回答都是跟婚礼派对相关。

这次RLHF的方法得以在ChatGPT上应用,并取得了很好的效果。但RLHF实际上并不容易训练,强化学习很容易遇到模式坍塌,反馈过于稀疏这类问题,训练起来很困难。这可能也是为什么论文在3月发表,ChatGPT在12月才上线,中间需要大量的时间来调优。

此外,指令调整(instruction tuning)的贡献也很大。InstructGPT虽然在参数上比GPT-3少了100倍(13亿 vs 1750亿),它的输出效果比GPT-3以及用监督学习进行微调的模型都要好得多。

根据知乎用户“避暑山庄梁朝伟”的观点:“Instruction Tuning和Prompt方法的核心一样,就是去发掘语言模型本身具备的知识。而他们的不同点就在于,Prompt是去激发语言模型的补全能力,比如给出上半句生成下半句、或者做完形填空,都还是像在做language model任务,而Instruction Tuning则是激发语言模型的理解能力,通过给出更明显的指令,让模型去理解并做出正确的反馈。”

参考下图,以前大模型的提升重心更多放在了大模型(LLM)本身和Prompt Engineering上,而ChatGPT的迭代重点是右侧的闭环。

action-driven LLM训练流程图

最后,ChatGPT在过于保守不提供有效回答和提供虚假信息之间做出了较好的权衡。之前Meta用于科研的大模型Galactica上线仅3天就被迫下线,因为提供了过多虚假的信息。这跟Meta的宣传策略也有关,其本意是想帮助研究人员整理信息、辅助写作,但Meta将其模型宣传为“可以总结学术论文,解决数学问题,生成维基文章,编写科学代码,为分子和蛋白质做注解等”,过高期望带来了反效果,科研人员本来就是挑剔的。ChatGPT尽管不能完全避免虚假信息的问题,但可以看出在微调/Prompt方面做了足够细致的工作,一些自相矛盾的提问可以被甄别出来,让用户对其回答更有信心。

6. 商业策略也是重要一环

这次ChatGPT是免费不限量向公众开放,用户可以尽情在平台上尝试各种奇异疯狂的想法,而此前GPT-3是根据使用量(token)来收费的。在使用过程中,用户可以提供反馈,这些反馈是对OpenAI最有价值的信息。OpenAI并不急于创收也不缺钱,坊间传言最新一轮估值已经达到数百亿美金,还有金主爸爸微软。

对于AI发展来说,工程的重要性实际上大于科学,创建一个迭代反馈的闭环至关重要。OpenAI很注重商业应用,GPT-3已经拥有大量客户。这些客户跟OpenAI的反馈互动也是推动进步的关键一环。相比之下,谷歌的闭门造车就显得不合时宜,或许是缺乏商业化的文化,或许是受限于投入产出比,谷歌对于大模型的应用一直很“克制”,即便起点很高,但如果一直像Waymo做自动驾驶一样小规模迭代,早晚会被更为开放,获得更多数据的企业超越。

7. 后续提升点

RLHF是一种较新的方法,随着OpenAI不断摸索,结合ChatGPT搜集到的用户反馈,模型还有进一步提升的空间。尤其是在道德/alignment层面,需要屏蔽掉这几天大家试验出来的绕过系统限制产生负面信息的方法。

当然也别忘了,OpenAI还有WebGPT这样的工具,可以理解为高阶版网页爬虫,从互联网上摘取信息来回答问题,并提供相应出处。比如下面的问题How do neural.NETworks work,WebGPT利用了GPT-3本身具备的语义理解能力和互联网公开信息,自己结合出了一份答案,不失为一种升级的搜索能力。

在MIT Technology Review对OpenAI科学家的采访中,他们提到了后续有可能将ChatGPT和WebGPT的能力结合起来。有网友挖掘出了ChatGPT内设的提示词,其中包含browsing:disabled,把浏览网页能力关闭了,也就是说后续有可能加入这个能力。可以设想,ChatGPT+WebGPT可以产生更为有意思的结果,信息可以实时更新,对于事实真假的判断将更为准确。

与WebGPT的这种结合,对应到上面 action-driven LLM训练流程图 的左半部分,即连接外部的信息源和工具库。事实上网页搜索只是一种可能,还结合利用各种工具(比如各种办公软件、SaaS软件),实现更丰富的功能。

在产品层面,是不是有更好的界面和实现方式也值得讨论。同屏对话框形式容易让人产生过高的预期,因为要保障对话的流畅性。在这一点上,Github Copilot产品就做得很好,Copilot主打的是programming pair,以伙伴的身份提出建议。从用户角度,这个建议好就接受,不好就不接受;即便提出了很多不被接受的建议,但在随机时间间隔产生的有效建议带来的爽感就会让用户上瘾。如果ChatGPT后续成为写作助手、编剧助手、工作助手等等,类似Copilot的产品形态会容易让人接受。

很多人惊叹于ChatGPT的能力,但其实真正惊艳的还在后面。OpenAI最厉害的不是他关于大模型的理解,而是其工程化、迭代反馈的能力,以及alignment(AI跟人类目标的统一)方面的工作。很欣赏OpenAI CEO Sam Altman的一句话:“Trust the exponential. Flat looking backwards, vertical looking forwards.” 我们就处在即将起飞的这个点上。



Tags:ChatGPT   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,如有任何标注错误或版权侵犯请与我们联系(Email:2595517585@qq.com),我们将及时更正、删除,谢谢。
▌相关推荐
上线不到一周日活用户破百万,2个月破亿......AI聊天机器人ChatGPT火爆全球,一时间成为现象级消费类AI应用。...【详细内容】
2023-02-08  Tags: ChatGPT  点击:(2)  评论:(0)  加入收藏
前言GPT系列是OpenAI的一系列预训练文章,GPT的全称是Generative Pre-Trained Transformer,顾名思义,GPT的目的就是通过Transformer为基础模型,使用预训练技术得到通用的文本模型...【详细内容】
2023-02-07  Tags: ChatGPT  点击:(4)  评论:(0)  加入收藏
聊天机器人ChatGPT仅仅推出两个月,便火爆网络,月活跃用户数已经超过1亿。比尔·盖茨更称,其历史意义,不亚于互联网或个人电脑的诞生。看起来,这似乎是一款革命性产品横空出...【详细内容】
2023-02-07  Tags: ChatGPT  点击:(4)  评论:(0)  加入收藏
ChatGPT,这款由“美国AI梦工厂”OpenAI制作的AI聊天机器人软件,除了能写代码、剧本并进行词曲创作,还可与人类对答如流,推出后被誉为人工智能的旷世巨作。近日,国内外多家科技巨...【详细内容】
2023-02-07  Tags: ChatGPT  点击:(4)  评论:(0)  加入收藏
[环球时报综合报道]随着美国科技初创公司OpenAI旗下智能聊天工具ChatGPT的大火,近期,美国科技巨头频频在人工智能领域出手,2023年各巨头或将在人工智能领域掀起新一轮鏖战。资...【详细内容】
2023-02-07  Tags: ChatGPT  点击:(5)  评论:(0)  加入收藏
新的变革已经到来硅星人 文| 油醋 VickyXiao 编辑| VickyXiao面对ChatGPT的来势汹汹,谷歌彻底慌了。OpenAI发布ChatGPT也不过是4个月之前。但是在这4个月里,已经有不少预言,称C...【详细内容】
2023-02-07  Tags: ChatGPT  点击:(4)  评论:(0)  加入收藏
出品|三言现在科技圈没啥比ChatGPT更火了,当我们还在热烈讨论的时候,已经有人玩出了各种新花样,甚至已经开始以此赚钱了。1会修bug能写程序还能拿到谷歌百万年薪offer当然仅仅...【详细内容】
2023-02-07  Tags: ChatGPT  点击:(5)  评论:(0)  加入收藏
新浪科技讯 北京时间2月7日早间消息,据报道,美国互联网搜索大战硝烟再起。这一次,谷歌、微软和一些创业公司,计划以一种革命性的方式将人工智能嵌入搜索引擎。这种新兴的人工智...【详细内容】
2023-02-07  Tags: ChatGPT  点击:(3)  评论:(0)  加入收藏
■ 专栏在ChatGPT发展浪潮中,最需要的是实时的政策与机制创新,尤其应强调边界思维和变通智慧。自2022年11月30日上线以来,新一代生成式人工智能聊天机器人ChatGPT的各种表现,堪...【详细内容】
2023-02-07  Tags: ChatGPT  点击:(6)  评论:(0)  加入收藏
似乎在一夜之间,周围不少朋友都在讨论一款名为ChatGPT的人工智能聊天程序。有人用它即兴创作诗歌,有人试图用它设计小说大纲,还有程序员用它解决工作问题……根据...【详细内容】
2023-02-07  Tags: ChatGPT  点击:(6)  评论:(0)  加入收藏
▌简易百科推荐
上线不到一周日活用户破百万,2个月破亿......AI聊天机器人ChatGPT火爆全球,一时间成为现象级消费类AI应用。...【详细内容】
2023-02-08    中国经济网  Tags:ChatGPT   点击:(2)  评论:(0)  加入收藏
前言GPT系列是OpenAI的一系列预训练文章,GPT的全称是Generative Pre-Trained Transformer,顾名思义,GPT的目的就是通过Transformer为基础模型,使用预训练技术得到通用的文本模型...【详细内容】
2023-02-07  蒲公英互联  网易号  Tags:ChatGPT   点击:(4)  评论:(0)  加入收藏
出品|三言现在科技圈没啥比ChatGPT更火了,当我们还在热烈讨论的时候,已经有人玩出了各种新花样,甚至已经开始以此赚钱了。1会修bug能写程序还能拿到谷歌百万年薪offer当然仅仅...【详细内容】
2023-02-07  三言  新浪网  Tags:ChatGPT   点击:(5)  评论:(0)  加入收藏
可以聊天、编写计算机程序,进行文学相关领域创作,还能长时间流畅对话这一届聊天机器人能“以假乱真”?以前的聊天机器人总让人觉得不够智能,有些问题回答比较楞。近日,一股由聊天...【详细内容】
2023-02-05    北京青年报  Tags:机器人   点击:(6)  评论:(0)  加入收藏
对比GPT-1,GPT-2并未在模型结构上大作文章,只是使用了更多参数的模型和更多的训练数据(表1)。GPT-2最重要的思想是提出了“所有的有监督学习都是无监督语言模型的一个子集”的思...【详细内容】
2023-02-03  京东云  51CTO  Tags:ChatGPT   点击:(27)  评论:(0)  加入收藏
译者 | 布加迪审校 | 孙淑娟ChatGP凭借其详细和酷似人类的书面回应引起了全世界的关注,引发了关于人们应该如何与这种人工智能(AI)进行互动的热烈讨论。从许多方面来看,ChatGPT...【详细内容】
2023-02-03    51CTO  Tags:ChatGPT   点击:(6)  评论:(0)  加入收藏
一系列的试探之后,AI聊天机器人ChatGPT的收费计划浮出水面。当地时间2月1日,人工智能实验室Open AI在其官网宣布将推出“ChatGPT Plus”付费订阅版本,每月收取20美元。免费了两...【详细内容】
2023-02-03    北京商报  Tags:ChatGPT   点击:(8)  评论:(0)  加入收藏
1.用于文本、语音和视觉的人工智能将继续成为主流在客户与呼叫中心高管的对话中,隐藏着情报的宝藏。这些非结构化的语音和文本对话正迅速成为最简单的情报来源之一。在某些情...【详细内容】
2023-02-01  Harris编译  51CTO  Tags:人工智能   点击:(10)  评论:(0)  加入收藏
今天出生的人们,他们将目睹人工智能重塑人类生活、工作和社会的方方面面。文|boxi来源|神译局封面来源|视觉中国(ChinaIT.com讯)编者按:很多人都预测 2023 年将是 AI 之年。但 AI...【详细内容】
2023-02-01  ChinaIT.com    Tags:人工智能   点击:(20)  评论:(0)  加入收藏
OneFlow深度学习框架创始人袁进辉告诉新浪财经,ChatGPT的技术进步,可比作首次“登月”,这样的进步令行业感到震惊。但出门问问创始人兼CEO李志飞虽然也肯定了ChatGPT的变革,但表示“它所知道的答案是缺乏逻辑起点和推理规...【详细内容】
2023-02-01    新浪财经  Tags:ChatGPT   点击:(60)  评论:(0)  加入收藏
站内最新
站内热门
站内头条