您当前的位置:首页 > 电脑百科 > 人工智能

GPT-4压根不会编程?有人让它露馅了

时间:2023-04-07 13:35:34  来源:  作者:机器之心

选自AI Snake Oil

作者:Arvind Narayanan、Sayash Kapoor

机器之心编译

ChatGPT 代替程序员,是我们想多了?

在 OpenAI 发布 GPT-4 之后,一场有关「AI 取代人类劳动力」的讨论正变得越来越激烈。该模型的强大能力及其可能带来的潜在社会影响引发了很多人的担忧,马斯克、Bengio 等人甚至

联名写了一封公开信

,呼吁所有 AI 机构暂停训练比 GPT-4 更强的 AI 模型,为期至少 6 个月。

但另一方面,对于 GPT-4 能力的质疑也是此起彼伏。前几天,图灵奖得主 Yann LeCun 在一场辩论中直接指出,GPT 家族所采用的自回归路线存在天然的缺陷,继续往前走是没有前途的。

与此同时,一些研究者、从业者也表示,GPT-4 可能并没有 OpenAI 所展示的那么强大,尤其是在编程方面:它可能只是记住了之前的题目,OpenAI 用来测试该模型编程能力的题目可能早就存在于它的训练集中,这违反了机器学习的基本规则。另外,还有人指出,看到 GPT-4 在各种考试中名列前茅就判定 AI 将取代部分职业的想法是不严谨的,毕竟这些考试和人类的实际工作还是有差距的。

近期的一篇博客详细地阐述了上述想法。

问题一:训练数据污染

为了对 GPT-4 的编程能力进行基准测试,OpenAI 使用编程竞赛网站 Codeforces 上的问题对其进行了评估。令人惊讶的是,GPT-4 解决了 10/10 的 2021 年前的问题和 0/10 的近期 easy 类问题。要知道,GPT-4 的训练数据截止日期是 2021 年 9 月。这有力地表明该模型能够从其训练集中记住解决方案 —— 或者至少部分记住它们,这足以让它填补它不记得的东西。

图源:https://Twitter.com/cHHillee/status/1635790330854526981

为了进一步证明这一假设,博客作者 Arvind Narayanan 和 Sayash Kapoor 在 2021 年不同时间的 Codeforces 问题上对 GPT-4 进行了测试,发现它可以解决 9 月 5 日之前的简单类别的问题,无法解决 9 月 12 日之后的问题。

作者表示,事实上,他们可以明确地表明 GPT-4 已经记住了训练集中的问题:当把 Codeforces 问题的标题加入 prompt 中时,GPT-4 的回答会包含指向出现该问题的确切比赛的链接(并且轮数几乎是正确的:它差了一个)。注意,当时的 GPT-4 不能上网,所以记忆是唯一的解释。

GPT-4 记住了训练截止日期之前的 Codeforces 问题。

论文中的 Codeforces 结果并没有受此影响,因为 OpenAI 使用的是最近的问题(果然,GPT-4 表现很差)。对于编程以外的基准,作者不知道有什么干净的方法可以按时间段分开问题,所以他们认为 OpenAI 不太可能避免污染。但出于同样的原因,他们也无法做实验来测试性能在不同日期的变化情况。

不过,他们还是可以寻找一些提示性的迹象。记忆的另一个征兆是:GPT 对问题的措辞高度敏感。Melanie Mitchell 举了一个 MBA 测试题的例子,她改变了这个例子的一些细节,这一改变骗不到人,但却成功欺骗了(运行 GPT-3.5 的)ChatGPT。沿着这个思路做一个更详细的实验会很有价值。

由于 OpenAI 缺乏透明度,作者无法肯定地回答污染问题。但可以肯定的是,OpenAI 检测污染的方法是肤浅和草率的:

我们使用子串匹配来衡量我们的评估数据集和预训练数据之间的交叉污染。评估和训练数据都是通过去除所有的空格和符号来处理的,只保留字符(包括数字)。对于每个评估实例,我们随机选择三个 50 个字符的子串(如果少于 50 个字符,则使用整个实例)。如果三个被抽中的评估子串中的任何一个是被处理过的训练例子的子串,那么就可以识别出一个匹配。这就产生了一个被污染的例子的列表。我们丢弃这些,并重新运行以获得未受污染的分数。

这是一个脆弱的方法。如果一个测试问题出现在训练集中,但名称和数字被改变了,它就不会被发现。不那么脆弱的方法是现成的,比如说嵌入距离。

如果 OpenAI 要使用基于距离的方法,多大程度的相似才是太相似?这个问题没有客观的答案。因此,即使是像选择题标准化测试中的表现这样看似简单的事情,也充满了主观的决定。

但我们可以通过询问 OpenAI 试图用这些考试来衡量什么来明确一些东西。如果目标是预测语言模型在现实世界任务中的表现,那就有一个问题。从某种意义上说,任何两个律师考试或医学考试的问题都比现实世界中专业人士所面临的两个类似任务更相似,因为它们是从这样一个受限的空间中提取的。因此,在训练语料库中加入任何考试问题,都有可能导致对模型在现实世界中的有用性的夸大估计。

从现实世界的有用性角度来阐述这个问题,突出了另一个更深层次的问题(问题二)。

问题二:专业考试不是比较人类和机器人能力的有效方法

记忆是一个光谱。即使一个语言模型在训练集上没有见过某个确切的问题,它也不可避免地看到了非常接近的例子,因为训练语料库的规模太大了。这意味着它可以用更浅显的推理水平来逃避。因此,基准结果并没有给我们提供证据,证明语言模型正在获得人类考生所需要的那种深入的推理技能,而这些考生随后会在现实世界中应用这些技能。

在一些现实世界的任务中,浅层推理可能是足够的,但并不总是如此。世界是不断变化的,所以如果一个机器人被要求分析一项新技术或一个新的司法判决的法律后果,它就没有什么可借鉴的。总之,正如 Emily Bender 所指出的,为人类设计的测试在应用于机器人时缺乏结构效度。

除此之外,专业考试,尤其是律师资格考试,过度强调学科知识,而对现实世界的技能强调不足,而这些技能在标准化的计算机管理方式下更难衡量。换句话说,这些考试不仅强调了错误的东西,而且过度强调了语言模型所擅长的东西。

在 AI 领域,基准被过度地用于比较不同的模型。这些基准因将多维评价压缩成一个单一数字而饱受批评。当它们被用于比较人类和机器人时,得到的结果是错误的信息。不幸的是,OpenAI 在对 GPT-4 的评估中选择大量使用这些类型的测试,而且没有充分尝试解决污染问题。

有更好的方法来评估 AI 模型对职业的影响

人们在工作期间可以上网,但在标准化考试期间却不能上网。因此,如果语言模型的表现能够媲美可以上网的专业人士,这在某种程度上将能更好地检验它们的实际效能。

但这仍然是个错误的问题。与其用独立的基准,我们或许更应该衡量语言模型能在多大程度上完成专业人员必须完成的所有现实任务。例如,在学术界,我们经常会遇到一些我们不熟悉的领域的论文,其中充满了专业术语;如果 ChatGPT 能够以一种更容易理解的方式准确地总结这样的论文,那就很有用了。有些人甚至还测试过这些工具是否能做同行评议。但即使是这个场景,你也很难确保用来测试的题目没有包含在训练集里。

ChatGPT 可以取代专业人员的想法仍然很牵强。在 1950 年的普查中,270 个工作中仅有 1 个被自动化淘汰了,那就是电梯操作员。当下,我们需要评估的是那些利用人工智能工具来帮助自己完成工作的专业人员。两项早期的研究是有希望的:一项是 Github 用于编程的 copilot,另一项是 ChatGPT 的写作协助。

在这个阶段,我们更需要定性研究而不是定量研究,因为这些工具太新了,我们甚至不知道该问什么正确的定量问题。例如,微软的 Scott Guthrie 报告了一个醒目的数字:GitHub Copilot 用户检查的代码中有 40% 是人工智能生成的,没有经过修改。但任何程序员都会告诉你,很大一部分代码由模板和其他通常可以复制粘贴的平凡逻辑组成,特别是在企业应用程序中。如果这就是 Copilot 自动化的部分,那么生产力的提高将是微不足道的。

作者表示,明确地说,我们不是说 Copilot 没有用,只是说如果没有对专业人士如何使用人工智能的定性理解,现有的衡量标准将是没有意义的。此外,人工智能辅助编码的主要好处甚至可能不是生产力的提高。

结论

下图总结了这篇文章,并解释了我们为什么要以及如何摆脱 OpenAI 报告的那种度量标准。

GPT-4 确实令人兴奋,它可以通过多种方式解决专业人士的痛点,例如通过自动化,代替我们做简单、低风险但费力的任务。目前,专注于实现这些好处并降低语言模型的许多风险可能是更好的做法。

https://aisnakeoil.substack.com/p/gpt-4-and-professional-benchmarks



Tags:GPT-4   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,如有任何标注错误或版权侵犯请与我们联系(Email:2595517585@qq.com),我们将及时更正、删除,谢谢。
▌相关推荐
选自AI Snake Oil作者:Arvind Narayanan、Sayash Kapoor机器之心编译ChatGPT 代替程序员,是我们想多了?在 OpenAI 发布 GPT-4 之后,一场有关「AI 取代人类劳动力」的讨论正变得...【详细内容】
2023-04-07  Tags: GPT-4  点击:(0)  评论:(0)  加入收藏
GPT-4和GPT-3.5在处理和编写代码的能力上差别还是很大的。官网的一份测试报告。 前两个是GPT-4,一个采用文本输入,一个采用图像输入;第三个是GPT3.5,可以看出GPT-4的代码能力相...【详细内容】
2023-03-31  Tags: GPT-4  点击:(51)  评论:(0)  加入收藏
最近一款名为Cursor的代码编辑器已经传遍了圈内,受到众多编程爱好者的追捧。它主打的亮点就是,通过 GPT-4 来辅助你编程,完成 AI 智能生成代码、修改 Bug、生成测试等操作。确...【详细内容】
2023-03-30  Tags: GPT-4  点击:(10)  评论:(0)  加入收藏
整理 | 苏宓出品 | CSDN(ID:CSDNnews)2019 年,微软用 10 亿美元砸进 OpenAI,两者展开为期数年的合作。当时两家对外公开的合作内容包括,微软和 OpenAI 将联合开发新的 Azure AI 超...【详细内容】
2023-03-29  Tags: GPT-4  点击:(21)  评论:(0)  加入收藏
Pine 萧箫 金磊 发自 凹非寺量子位 | 公众号 QbitAI“AI确实可能杀死人类。”这话并非危言耸听,而是OpenAI CEO奥特曼的最新观点。而这番观点,是奥特曼在与MIT研究科学家Lex F...【详细内容】
2023-03-28  Tags: GPT-4  点击:(11)  评论:(0)  加入收藏
GPT-4 的思考方式,越来越像人了。人类在做错事时,会反思自己的行为,避免再次出错,如果让 GPT-4 这类大型语言模型也具备反思能力,性能不知道要提高多少了。众所周知,大型语言模型...【详细内容】
2023-03-28  Tags: GPT-4  点击:(16)  评论:(0)  加入收藏
整理 | 苏宓出品 | CSDN(ID:CSDNnews)2019 年,微软用 10 亿美元砸进 OpenAI,两者展开为期数年的合作。当时两家对外公开的合作内容包括,微软和 OpenAI 将联合开发新的 Azure AI 超...【详细内容】
2023-03-27  Tags: GPT-4  点击:(14)  评论:(0)  加入收藏
Pine 发自 凹非寺量子位 | 公众号 QbitAIGPT-4再度进化!加上一个简单方法,就能让GPT-4这类大语言模型学会自我反思,性能直接 提升30%。在此之前,大语言模型回答出错,经常是二话不...【详细内容】
2023-03-26  Tags: GPT-4  点击:(15)  评论:(0)  加入收藏
智东西(公众号:zhidxcom)编译 | 吴菲凝编辑 | 李水青智东西3月23日消息,当地时间3月22日,微软旗下代码托管平台GitHub发布了编程辅助工具Copilot的全新版本Copilot X,新版本接入GP...【详细内容】
2023-03-24  Tags: GPT-4  点击:(21)  评论:(0)  加入收藏
新智元报道编辑:编辑部【新智元导读】AI桌面革命深夜打响,GPT-4全面接入微软Office全家桶,势必颠覆人类办公!硅谷大厂们的战争,已经进入了白热化阶段。谷歌前脚刚宣布AI工具整合...【详细内容】
2023-03-17  Tags: GPT-4  点击:(37)  评论:(0)  加入收藏
▌简易百科推荐
选自AI Snake Oil作者:Arvind Narayanan、Sayash Kapoor机器之心编译ChatGPT 代替程序员,是我们想多了?在 OpenAI 发布 GPT-4 之后,一场有关「AI 取代人类劳动力」的讨论正变得...【详细内容】
2023-04-07  机器之心    Tags:GPT-4   点击:(0)  评论:(0)  加入收藏
  新浪科技讯 北京时间4月7日早间消息,OpenAI的ChatGPT聊天机器人(11.930, -0.24, -1.97%)正在爆发式发展,改变了人们对未来工作的看法。然而与此同时,OpenAI也面临越来越激...【详细内容】
2023-04-07    新浪科技  Tags:OpenAI   点击:(1)  评论:(0)  加入收藏
我是ChatGPT,最近实在太火爆了。很多人以为我非常强大,其实并不是这样的,比如,如果你问我:今天北京天气如何? 对不起,我并不知道,我无法获取实时的信息,因为我的GPT4模型的知识停留在...【详细内容】
2023-04-06  码农翻身    Tags:ChatGPT   点击:(4)  评论:(0)  加入收藏
C# 委托(Delegate)是一种将方法作为参数传递的类型,可以用于实现回调函数、事件处理程序等。委托类型定义了方法的签名,可以将符合该签名的任何方法赋值给该委托变量。在 C# 中,...【详细内容】
2023-04-06  Csharp上位机学习者    Tags:Chat GPT   点击:(2)  评论:(0)  加入收藏
欢迎关注“新浪科技”的微信订阅号:techsina 文/瀚星来源/雪豹财经社(ID:xuebaocaijingshe)从投资入股到“反目成仇”,马斯克与OpenAI在人工智能这条路上渐行渐远。3月29日,未来生...【详细内容】
2023-04-06  雪豹财经社   新浪网  Tags:ChatGPT   点击:(3)  评论:(0)  加入收藏
ChatGPT 之前几十年来,人工智能 (AI) 一直在改变我们的生活和工作方式。从使用 AI 驱动的虚拟助手改善我们的个人生活,到通过智能自动化彻底改变整个行业,AI 一次又一次地证明...【详细内容】
2023-04-05  MikoCody  今日头条  Tags:AI   点击:(4)  评论:(0)  加入收藏
北京日报客户端 | 记者 白歌 美编 关印一张衣着正常的照片,被有心人使用人工智能(AI)处理后,变成了裸照并在社交平台疯传——AI会否导致“失业潮”尚未可知,但AI滥用导...【详细内容】
2023-04-04    北京日报  Tags:AI   点击:(4)  评论:(0)  加入收藏
注:本文使用New Bing(GPT4.0)演示1、让他扮演一个Java软件开发者第一步:我们让ChatGPT扮演一个Java软件开发者的角色 提示词插件:地址:ChatGPT BingChat GPT3 Prompt Generator Ap...【详细内容】
2023-04-04  得物技术  微信公众号  Tags:ChatGPT   点击:(8)  评论:(0)  加入收藏
今年以chatGPT代表的AI大语言模型开始崛起,并且让AI重新进入并且开始影响甚至是改变人们的日常生活。chatGPT的强大足以让人们已经相信AI取代人已经开始走上日程,那么这波由LL...【详细内容】
2023-04-04  网络一线牵  网易号  Tags:AI   点击:(8)  评论:(0)  加入收藏
最近,这个ChatGPT是相当的火,因为它太恐怖了,人们都在担心这人工智能会不会替代人类,甚至担心它会不会产生意识。首先,我们来看看这ChatGPT到底是什么。2022年11月30日,美国一家人...【详细内容】
2023-04-04  摆摊销故事  搜狐号  Tags:ChatGPT   点击:(3)  评论:(0)  加入收藏
站内最新
站内热门
站内头条