您当前的位置:首页 > 电脑百科 > 人工智能

GPT-4写代码能力提升21%!MIT新方法让LLM学会反思,网友:和人类的思考方式一样

时间:2023-03-26 11:50:10  来源:  作者:Pine

Pine 发自 凹非寺

量子位 | 公众号 QbitAI

GPT-4再度进化!

加上一个简单方法,就能让GPT-4这类大语言模型学会自我反思,性能直接 提升30%

在此之前,大语言模型回答出错,经常是二话不说,直接先道歉,然后emmmmmm,继续乱猜。

现在,它不会这样了,有了新方法的加成,GPT-4不仅会反思自己哪里错了,还会给出改进策略。

比如说它会自动分析为什么“陷入循环”:

或者说反思一下自己有缺陷的搜索策略:

这是美国东北大学联合MIT发表的最新论文中的方法: Reflexion

不仅适用于GPT-4,也适用于其他大语言模型,让它们学会人类特有的反思能力。

目前该论文已经发表在预印平台arxiv上。

这把直接让网友直呼“AI进化的速度已经超过我们适应的能力了,我们要被毁灭了。”

甚至有网友为开发人员发来“饭碗警告”:

用这种方法写代码的时薪是要比普通开发人员便宜的。

利用二元奖励机制实现反思

正如网友所言,Reflexion赋予GPT-4的反思能力和人类的思考过程差不多:

可以简单用两个字来概括: 反馈

在这个反馈过程中,又可以分为三大步:

  • 1、评估:测试当前生成答案的准确性
  •  
  • 3、执行一个迭代反馈循环

在第一步评估的过程中,首先要经历的是LLM (大语言模型)的 自我评估

也就是说LLM在还没有外部反馈时,首先要自己对答案进行反思。

那如何进行自我反思?

研究团队使用了一个 二元奖励机制,为LLM在当前状态下执行的操作赋值:

1代表生成的结果OK,0则表示生成的结果不太行。

而之所以采用 二元而非多值或连续输出这类更具描述性的奖励机制,原因和没有外部输入有关。

要在没有外部反馈的条件下进行自我反思,必须将答案限制在二元状态下,只有这样,才能迫使LLM做出有意义的推断。

在自我评估结束之后,如果二元奖励机制输出为1,则不启动自我反思装置,若为0,LLM则会开启反思模式。

在反思的过程中,模型会触发一个启发性函数h (如下),类比人类思考过程,h起到的作用就像是 监督一样。

不过,同人类思考一样,LLM在反思的过程中同样也有局限性,这在函数中的Ω和ε中就能体现。

Ω表示重复连续动作的次数,一般会将这个数值设置为3,这表示反思过程中若重复一个步骤三次,会直接跳到下一个步骤。

而ε则表示在反思的过程中允许执行的最大操作数量。

既然有监督,那 修正也必须执行,修正过程的函数是这样子的:

其中,自我反思模型是通过“特定领域的 失败轨迹和理想反射对”训练而来的,并不允许访问数据集中给定问题的特定领域的解决方案。

这样一来,LLM在反思的过程中便能够迸发出更多有“创新性”的东西。

反思之后性能提升近30%

既然GPT-4这类LLM都能够进行自我反思了,那具体效果究竟如何?

研究团队在ALFWorld和HotpotQA基准上对这种方法进行了评估。

在HotpotQA的100个问答对测试中,使用Reflexion这种方法的LLM显示出了巨大的优势,再经过多轮反思重复提问之后,LLM的性能提升了接近30%。

而没有使用Reflexion,在重复问答之后,性能没有任何变化。

在HotpotQA的134个问答对测试中,可以看出在Reflexion的加持下,LLM经过多轮反思后,准确率一度达到97%。

在另外一篇博客中,团队成员也晒出了他们这种方法在GPT-4上的效果,测试范围是编写代码。

结果也显而易见,用了Reflexion,GPT-4的编程能力直接提升了21%。

关于GPT-4已经会“思考”了,你怎 (huang)么 (le)看 (ma)?

论文地址:

https://arxiv.org/abs/2303.11366

参考链接:

[1] https://nanothoughts.substack.com/p/reflecting-on-reflexion

[2] https://www.reddit.com/r/machineLearning/comments/1215dbl/r_reflexion_an_autonomous_agent_with_dynamic/

— 



Tags:GPT-4   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,如有任何标注错误或版权侵犯请与我们联系(Email:2595517585@qq.com),我们将及时更正、删除,谢谢。
▌相关推荐
整理 | 苏宓出品 | CSDN(ID:CSDNnews)2019 年,微软用 10 亿美元砸进 OpenAI,两者展开为期数年的合作。当时两家对外公开的合作内容包括,微软和 OpenAI 将联合开发新的 Azure AI 超...【详细内容】
2023-03-29  Tags: GPT-4  点击:(4)  评论:(0)  加入收藏
GPT-4 的思考方式,越来越像人了。人类在做错事时,会反思自己的行为,避免再次出错,如果让 GPT-4 这类大型语言模型也具备反思能力,性能不知道要提高多少了。众所周知,大型语言模型...【详细内容】
2023-03-28  Tags: GPT-4  点击:(1)  评论:(0)  加入收藏
整理 | 苏宓出品 | CSDN(ID:CSDNnews)2019 年,微软用 10 亿美元砸进 OpenAI,两者展开为期数年的合作。当时两家对外公开的合作内容包括,微软和 OpenAI 将联合开发新的 Azure AI 超...【详细内容】
2023-03-27  Tags: GPT-4  点击:(1)  评论:(0)  加入收藏
Pine 发自 凹非寺量子位 | 公众号 QbitAIGPT-4再度进化!加上一个简单方法,就能让GPT-4这类大语言模型学会自我反思,性能直接 提升30%。在此之前,大语言模型回答出错,经常是二话不...【详细内容】
2023-03-26  Tags: GPT-4  点击:(0)  评论:(0)  加入收藏
智东西(公众号:zhidxcom)编译 | 吴菲凝编辑 | 李水青智东西3月23日消息,当地时间3月22日,微软旗下代码托管平台GitHub发布了编程辅助工具Copilot的全新版本Copilot X,新版本接入GP...【详细内容】
2023-03-24  Tags: GPT-4  点击:(13)  评论:(0)  加入收藏
新智元报道编辑:编辑部【新智元导读】AI桌面革命深夜打响,GPT-4全面接入微软Office全家桶,势必颠覆人类办公!硅谷大厂们的战争,已经进入了白热化阶段。谷歌前脚刚宣布AI工具整合...【详细内容】
2023-03-17  Tags: GPT-4  点击:(24)  评论:(0)  加入收藏
世界越疯狂,克制就越有必要。@科技新知 原创作者丨苌乐 编辑丨伊页ChatGPT-3的热度还没下去,进阶版GPT-4又来了。3月15日凌晨,OpenAI发布了多模态预训练大模型GPT-4,目前ChatG...【详细内容】
2023-03-17  Tags: GPT-4  点击:(26)  评论:(0)  加入收藏
新浪科技讯 北京时间3月17日早间消息,当地时间周四,微软(276.2, 10.76, 4.05%)宣布,将通过生成式人工智能(AI)技术来增强Office办公套装。在AI技术商业化的过程中,科技巨头正在展...【详细内容】
2023-03-17  Tags: GPT-4  点击:(55)  评论:(0)  加入收藏
  中新网3月17日电(中新财经 吴家驹)北京时间3月15日,此前研发了ChatGPT的OpenAI公司,发布了新一代语言模型GPT-4,引起全球广泛关注。  ChatGPT此前接入的模型是GPT-3.5,而G...【详细内容】
2023-03-17  Tags: GPT-4  点击:(71)  评论:(0)  加入收藏
出品|网易科技《智见焦点》作者|赵芙瑶编辑|丁广胜作为OpenAI公司开发的一种生成式人工智能工具,有关学者以“阿拉丁神灯”和“潘多拉魔盒”来比喻ChatGPT所隐藏的潜能和可能带...【详细内容】
2023-03-16  Tags: GPT-4  点击:(30)  评论:(0)  加入收藏
▌简易百科推荐
整理 | 苏宓出品 | CSDN(ID:CSDNnews)2019 年,微软用 10 亿美元砸进 OpenAI,两者展开为期数年的合作。当时两家对外公开的合作内容包括,微软和 OpenAI 将联合开发新的 Azure AI 超...【详细内容】
2023-03-29    CSDN  Tags:GPT-4   点击:(4)  评论:(0)  加入收藏
GPT-4 的思考方式,越来越像人了。人类在做错事时,会反思自己的行为,避免再次出错,如果让 GPT-4 这类大型语言模型也具备反思能力,性能不知道要提高多少了。众所周知,大型语言模型...【详细内容】
2023-03-28  机器之心Pro    Tags:GPT-4   点击:(1)  评论:(0)  加入收藏
作者 | 何苗出品 | CSDN(ID:CSDNnews)大模型的火热引爆了 AI 编程领域的全面革新,人们开始思考如何借助 AI 提高编程效率的同时,也在思考未来需要怎样的“ 新程序员”。3 月 25...【详细内容】
2023-03-28    CSDN  Tags:ChatGPT   点击:(1)  评论:(0)  加入收藏
本来准备一篇文章搞定的,发现能讲的还挺多的。所以,先写这一篇,后面再续!都是很重要的概念!请放心,这篇文章不是ChatGPT 生成的。是我一个字一个字敲进去的。ChatGPT 一下子火起来...【详细内容】
2023-03-28  纷析智库  搜狐号  Tags:ChatGPT   点击:(4)  评论:(0)  加入收藏
ChatGPT,是今年AI界当之无愧的“顶流”。开年至今,小到日活人数的增长,大到科学伦理的争议,与之相关的一切话题持续霸榜各大论坛热搜,引发全球关注。就在几天前,随着ChatGPT背靠的...【详细内容】
2023-03-28  南方Plus客户端    Tags:ChatGPT   点击:(3)  评论:(0)  加入收藏
Murati和OpenAI的AGI之旅,才刚刚开始。作者 | 椎名编辑 | 梓来源:硅兔赛跑谁是现在风头最劲的AI公司?相信很多人的答案都是OpenAI,尤其是在通用人工智能的(AGI)领域。然而,很少有人...【详细内容】
2023-03-28    硅兔赛跑  Tags:ChatGPT   点击:(3)  评论:(0)  加入收藏
整理 | 苏宓出品 | CSDN(ID:CSDNnews)2019 年,微软用 10 亿美元砸进 OpenAI,两者展开为期数年的合作。当时两家对外公开的合作内容包括,微软和 OpenAI 将联合开发新的 Azure AI 超...【详细内容】
2023-03-27    CSDN  Tags:GPT-4   点击:(1)  评论:(0)  加入收藏
ChatGPT 能够自动生成类似于人类写作的文本,这一点非常引人注目,也令人意外。但它是如何实现的?为什么它能够如此出色地生成我们认为有意义的文本?我的目的是在这里概述ChatGPT...【详细内容】
2023-03-26  Ckend  51CTO  Tags:ChatGPT   点击:(3)  评论:(0)  加入收藏
Pine 发自 凹非寺量子位 | 公众号 QbitAIGPT-4再度进化!加上一个简单方法,就能让GPT-4这类大语言模型学会自我反思,性能直接 提升30%。在此之前,大语言模型回答出错,经常是二话不...【详细内容】
2023-03-26  Pine    Tags:GPT-4   点击:(0)  评论:(0)  加入收藏
3 月 24 日消息,OpenAI 为了进一步提升用户体验,近日宣布引入插件的形式,来调整 ChatGPT 更新迭代策略。详细信息可以访问:https://openai.com/blog/chatgpt-plugins这种新策略...【详细内容】
2023-03-24    IT之家  Tags:OpenAI   点击:(10)  评论:(0)  加入收藏
站内最新
站内热门
站内头条