您当前的位置:首页 > 电脑百科 > 人工智能

ChatGPT作弊成风引担忧,OpenAI:正在自研审核工具

时间:2023-01-11 15:05:32  来源:  作者:机器之心Pro

机器之心报道

编辑:泽南、蛋酱

 

「对学生有负面影响」,这么大责任 OpenAI 可担不起。

 

语言生成模型来了,学校的作业会不会从此变得形同虚设?近日,纽约市教育官员宣布禁止学生在公立学校使用 ChatGPT 的事件引发了争论。

语言模型自动生成的内容会「参照」现有作品,产出的速度又几乎无限,人们对其的担忧已经蔓延到了 AI 学界自身,全球知名机器学习会议之一的 ICML 最近也宣布禁止发表包含由 ChatGPT 和其他类似系统生成内容的论文,以免出现「意外后果」。

对于这样的情况,ChatGPT 的提出者 OpenAI 已宣布正在努力开发「缓解措施」,帮助人们检测由 AI 自动生成的文本。


 

「我们将 ChatGPT 作为新研究的预览技术,希望能从现实世界的应用中进行学习。我们认为这是开发和部署功能强大、安全的 AI 系统的关键部分。我们会不断吸取反馈和经验教训,」公司发言人表示。「OpenAI 一直呼吁在使用 AI 生成的文本时要保持透明。我们的使用条款要求用户在使用我们的 API 和创意工具时,首先对其面向的人群负责……我们期待与教育工作者合作制定有效的解决方案,帮助教师和学生等人群寻找从 AI 中受益的方法。」

如果出现了能够区分人类和机器产生内容的算法,生成模型在学术界的使用方式或许会出现改变。学校将能够更有效地限制人工智能生成的论文,而如果人们的态度发生转变,转而期待这些工具能够帮助学生,或许我们也可以逐渐接受使用 AI 进行辅助的方式,提高工作学习的效率。

现在看起来,眼前还有很长的一段路要走。尽管 AI 生成的文字内容在学术会议和学校禁止机器写论文作弊的新闻中看起来令人印象深刻,但你需要知道,与真正的人类写作相比,它们时常缺乏真正的理解与逻辑。

当像 GPT-3 或 ChatGPT 这样的工具通过给出令人震惊的详细答案而让人感到惊讶时,也有冷静的专家表示这证明了模型能够编码知识,但当它们无法正确处理事情时,给出的答案往往很离谱。波莫纳学院 (Pomona College) 经济学教授 Gary Smith 提醒我们,不要上当。

在一篇专栏文章中,Gary Smith 展示了几个 GPT-3 无法有效推理和回答问题的例子,「如果你尝试使用 GPT-3,你最初的反应可能是惊讶——似乎是在与一个非常聪明的人进行真正的对话。然而深入探究后,你很快就会发现虽然 GPT-3 可以用令人信服的方式将单词串在一起,但它并不知道单词的含义。」

「预测 down 这个词有可能跟在 fell 这个词后面,并不要求对这两个词的含义有任何理解。只是通过统计层面的计算,AI 就能认为这些词经常在一起。因此,GPT-3 很容易做出完全错误,但又武断的声明。」

OpenAI 在 2022 年 11 月发布了 ChatGPT,这是一个较新的模型,基于 GPT-3 进行了改进。尽管如此,它仍然存在着这些相同的问题,就像所有现有的语言模型一样。

如何用 AI 检测 AI 生成的文字?

曾几何时,AI 生成的文字内容还是「一眼假」,但自从 ChatGPT 横空出世以来,这种分辨工作是越来越难做了。

在教育领域,ChatGPT 的争论主要围绕作弊的可能性展开。在谷歌上搜索「ChatGPT 写论文」,你能发现大量教育工作者、记者和学生通过使用 ChatGPT 完成家庭作业和标准化论文测试来试水的例子。

《华尔街日报》的专栏作家曾使用 ChatGPT 撰写了一篇能拿及格分的 AP 英语论文,而《福布斯》记者则利用它在 20 分钟内完成了两篇大学论文。亚利桑那州立大学教授 Dan Gillmor 在接受卫报采访时回忆说,他尝试给 ChatGPT 布置一道给学生的作业,结果发现 AI 生成的论文也可以获得好成绩。

目前,已经有开发者制作了面向 ChatGPT 生成内容的检测工具——「GPTZero」,只需要将内容粘贴在输入框,就能在几秒钟之内得到分析结果,快速检测出一篇文章是 ChatGPT 还是人工撰写的。


 

网友评:世界各地的学生看到后都哭了。

作者是普林斯顿大学的学生 Edward Tian,他利用假期的一部分时间编写了 GPTZero。


 

让我们看看检测过程,先以一段《New Yorker》的报道内容为例(百分之百确定由人类写作):


 

再看一段由 ChatGPT 生成的内容接受检测:


 

GPTZero 应用程序的原理是借助一些文本属性进行分析。首先是困惑度(perplexity),即文本对模型的随机性,或语言模型对文本的「喜爱」程度;然后是突发度(burstiness),即机器写作的文本在一段时间内表现出的困惑度更均匀和恒定,而人类书写的文本则不会这样。


 

GPTZero:「同学们,对不起!教授们,不客气!」

据《卫报》报道,OpenAI 目前正在开发一项功能,用于统计 ChatGPT 输出结果的「水印」,以便阅读器可以在 AI 文本选择中发现隐藏模式。

在得克萨斯大学的一次演讲中,OpenAI 客座研究员 Scott Aaronson 表示,公司正在研究一种通过「对输出进行统计水印」来打击作弊的系统。Aaronson 说,这项技术将通过微妙地调整 ChatGPT 选择的特定单词选择来发挥作用,读者不会注意到这种方式,但对于任何寻找机器生成文本迹象的人来说,这在统计上都是可预测的。

「我们实际上有一个水印方案的工作原型了,」Aaronson 补充道。「它似乎表现很好——根据经验,几百个词似乎足以得到一个信号:是的,这段文本来自 GPT。」

虽然面临人们的担忧,但有关 ChatGPT 的应用也在快速铺开。在很多场景中,人们不想与无法理解简单查询的聊天机器人对话,什么都可以说上两句的 ChatGPT 可以解决这一问题。总部位于多伦多的 Ada 已与 OpenAI 合作把 GPT-3.5,ChatGPT 背后的大模型应用在了客服聊天机器人上,完成了 45 亿次客户服务交互。

据 The Information 报道,微软还与 OpenAI 签订了独家许可协议,并计划将该技术整合到 Bing 搜索引擎中。

ChatGPT 正在模拟真人的道路上加速前进,这场打假的战役还会继续下去。

参考内容:

https://www.theregister.com/2023/01/09/in_brief_ai/

https://techcrunch.com/2023/01/05/as-nyc-public-schools-block-chatgpt-openai-says-its-working-on-mitigations-to-help-spot-chatgpt-generated-text/

https://www.forbes.com/sites/rashishrivastava/2023/01/09/chatgpt-is-coming-to-a-customer-service-chatbot-near-you/

https://www.theguardian.com/technology/2022/dec/31/ai-assisted-plagiarism-chatgpt-bot-says-it-has-an-answer-for-that



Tags:ChatGPT   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,如有任何标注错误或版权侵犯请与我们联系(Email:2595517585@qq.com),我们将及时更正、删除,谢谢。
▌相关推荐
梦晨 衡宇 发自 凹非寺量子位 | 公众号 QbitAI生成式AI要取代搜索引擎的声音,出现在ChatGPT发布的 第一天。后来越传越邪乎,有人设想以后大家找资料都不说google一下了,而是 ge...【详细内容】
2023-01-12  Tags: ChatGPT  点击:(5)  评论:(0)  加入收藏
机器之心报道编辑:泽南、蛋酱 「对学生有负面影响」,这么大责任 OpenAI 可担不起。 语言生成模型来了,学校的作业会不会从此变得形同虚设?近日,纽约市教育官员宣布禁止学生在公立...【详细内容】
2023-01-11  Tags: ChatGPT  点击:(0)  评论:(0)  加入收藏
新智元报道 编辑:好困 Aeneas【新智元导读】ChatGPT的诞生,改写了很多领域的游戏规则。现在,在很多地方,学校和大厂都下了ChatGPT封杀令。12月,ChatGPT大红大紫之际,就有诸多学者...【详细内容】
2023-01-09  Tags: ChatGPT  点击:(8)  评论:(0)  加入收藏
选自Assembly AI作者:Marco Ramponi机器之心编译编辑:王强、蛋酱 自 ChatGPT 发布以来,已经吸引了无数人一探究竟。但 ChatGPT 实际上是如何工作的?尽管它内部实现的细节尚未公...【详细内容】
2023-01-06  Tags: ChatGPT  点击:(2)  评论:(0)  加入收藏
ChatGPT 不一定能颠覆搜索引擎,但能撕开谷歌帝国的铁幕。 作者 | 凌梓郡 编辑| 郑玄ChatGPT 大火出圈的时候,人们就开始讨论,它会不会颠覆搜索引擎。毕竟,它可以为各种问题提供...【详细内容】
2023-01-03  Tags: ChatGPT  点击:(10)  评论:(0)  加入收藏
来源:卫夕指北从0到100万用户,Netflix用了3.5 年,Twitter用了24 个月,Facebook用了10个月,Dropbox用了7个月,Spotify用了5个月,Instagram用了2.5个月。而ChatGPT,只用了5 天。没错,在...【详细内容】
2023-01-03  Tags: ChatGPT  点击:(7)  评论:(0)  加入收藏
技术拐点来了,大家都在同一起跑线上。@科技新知 原创作者丨苌乐 编辑丨 伊页两周前疯狂刷屏的爆款AI应用ChatGPT,也难逃互联网过气定理。“人类离强大到危险的AI不远了。”这...【详细内容】
2022-12-29  Tags: ChatGPT  点击:(25)  评论:(0)  加入收藏
ChatGPT是人工智能研究实验室OpenAI新推出的一种人工智能技术驱动的自然语言处理工具,使用了Transformer神经网络架构,也是GPT-3.5架构,这是一种用于处理序列数据的模型,拥有语...【详细内容】
2022-12-27  Tags: ChatGPT  点击:(9)  评论:(0)  加入收藏
大公司动作迟缓,员工向硅星人透露谷歌如何陷入两难境地。文|杜晨 编辑|VickyXiao来源 | 硅星人圣诞节前,《纽约时报》报道,因为 ChatGPT 在全球爆红,谷歌CEO Sundar Pichai...【详细内容】
2022-12-27  Tags: ChatGPT  点击:(23)  评论:(0)  加入收藏
一、ChatGPT简介1.ChatGPT工作原理ChatGPT是一种使用GPT-3预训练的语言模型;用于自然语言处理任务,特别是聊天机器人的建模。GPT-3是OpenAI开发的一种大型神经语言模型,它能够...【详细内容】
2022-12-23  Tags: ChatGPT  点击:(50)  评论:(0)  加入收藏
▌简易百科推荐
梦晨 衡宇 发自 凹非寺量子位 | 公众号 QbitAI生成式AI要取代搜索引擎的声音,出现在ChatGPT发布的 第一天。后来越传越邪乎,有人设想以后大家找资料都不说google一下了,而是 ge...【详细内容】
2023-01-12  量子位    Tags:ChatGPT   点击:(5)  评论:(0)  加入收藏
机器之心报道编辑:泽南、蛋酱 「对学生有负面影响」,这么大责任 OpenAI 可担不起。 语言生成模型来了,学校的作业会不会从此变得形同虚设?近日,纽约市教育官员宣布禁止学生在公立...【详细内容】
2023-01-11  机器之心Pro     Tags:ChatGPT   点击:(0)  评论:(0)  加入收藏
陈永伟/文生成式AI元年每隔几年,在人工智能领域都会出现一个新的热点。在刚刚过去的2022年,这个新热点无疑就是“生成式AI”(GenerativeAI)。所谓生成式AI,就是通过各种机器学习(M...【详细内容】
2023-01-09    经济观察报   Tags:AI   点击:(3)  评论:(0)  加入收藏
新浪科技讯 北京时间1月9日早间消息,据报道,知情人士透露,微软希望将OpenAI的人工智能技术整合到Word、Outlook和Powerpoint等应用中,为Office用户提供一种新的编写文本的方式。...【详细内容】
2023-01-09  新浪科技    Tags:OpenAI   点击:(7)  评论:(0)  加入收藏
新智元报道 编辑:好困 Aeneas【新智元导读】ChatGPT的诞生,改写了很多领域的游戏规则。现在,在很多地方,学校和大厂都下了ChatGPT封杀令。12月,ChatGPT大红大紫之际,就有诸多学者...【详细内容】
2023-01-09  新智元  新浪网  Tags:ChatGPT   点击:(8)  评论:(0)  加入收藏
选自Assembly AI作者:Marco Ramponi机器之心编译编辑:王强、蛋酱 自 ChatGPT 发布以来,已经吸引了无数人一探究竟。但 ChatGPT 实际上是如何工作的?尽管它内部实现的细节尚未公...【详细内容】
2023-01-06  机器之心Pro     Tags:ChatGPT   点击:(2)  评论:(0)  加入收藏
【导读】最近, LSTM之父Jürgen Schmidhuber梳理了17世纪以来人工智能的历史。在这篇万字长文中,Schmidhuber为读者提供了一个大事年表,其中包括神经网络、深度学习、人工...【详细内容】
2023-01-06  书圈    Tags:人工智能   点击:(13)  评论:(0)  加入收藏
ChatGPT 不一定能颠覆搜索引擎,但能撕开谷歌帝国的铁幕。 作者 | 凌梓郡 编辑| 郑玄ChatGPT 大火出圈的时候,人们就开始讨论,它会不会颠覆搜索引擎。毕竟,它可以为各种问题提供...【详细内容】
2023-01-03  极客公园     Tags:ChatGPT   点击:(10)  评论:(0)  加入收藏
作者 | 刘燕审校 | 蔡芳芳本文是 “2022 InfoQ 年度技术盘点与展望” 系列文章之一,由 InfoQ 编辑部制作呈现,重点聚焦 AIGC 领域在 2022 年的重要进展、动态,希望能帮助你准确...【详细内容】
2023-01-03  AI前线   企鹅号  Tags:AI   点击:(10)  评论:(0)  加入收藏
整理 | 凌敏、核子可乐来源 | AI前线任何新技术都具有两面性,生成式 AI 也是如此。大学生用 AI 写论文,次次拿 A近日,国外大学生 Urdadgirl69 在 Reddit 上发帖称,自己利用 AI...【详细内容】
2023-01-03    AI前线  Tags:AI   点击:(9)  评论:(0)  加入收藏
站内最新
站内热门
站内头条