• 2024年4月20日 11:28

测试发现,ChatGPT 可以写出符合学术期刊要求的足够好的论文

2 月 27, 2023

世界上一些最大的学术期刊出版商,已经禁止或限制他们的作者使用先进的聊天机器人 ChatGPT。由于该机器人使用来自互联网的信息对问题做出高度可读的回答,因此出版商担心,不准确或抄袭的文字输出有可能被写进学术论文。

有些研究人员已经将该聊天机器人列为学术研究的共同作者,而一些出版商也已开始禁止这种做法。世界顶级科学期刊之一《科学》杂志的主编则更进了一步,禁止在提交的论文中使用任何来自该程序的文本。

学术出版商对这种聊天机器人的使用感兴趣,这并不奇怪。我们最近发表在《金融研究通讯》(Finance Research Letters)上的研究论文表明,ChatGPT 可以被用来撰写一篇被学术期刊接受的金融论文。尽管该机器人在某些方面比其他方面表现得更好,但加入我们自己的专业知识,就能够在一定程度上克服该程序在期刊审稿人眼中的局限性。



我们认为,出版商和研究人员不一定非把 ChatGPT 看作是一种威胁,而应该将其视为一种潜在的重要研究助手——一种低成本甚至免费的电子助手。

我们的想法是:如果只是通过简单地使用,就可以很容易地从 ChatGPT 得到好的结果,那么也许我们可以做一些额外的事情,从而把这些好的结果变成更好的结果。

我们首先要求 ChatGPT 生成研究论文的标准四个部分:研究思路、文献综述、数据处理以及测试和检验的建议。我们只指定了广泛的主题,并要求输出的文字应该能够在 “ 一本优秀的金融期刊 ”上发表。

我们选择使用的是 ChatGPT 的第一个版本。在版本 2 中,我们在 ChatGPT 窗口中粘贴了将近 200 个相关的现有研究的摘要。

然后,我们要求该程序在创建四个研究阶段时考虑这些内容。最后,在版本 3 中,我们添加了 “ 本领域专业知识 ”,即来自学术研究人员的意见。我们阅读计算机程序生成的答案,并提出改进的建议。在此过程中,我们将我们的专业知识与 ChatGPT 输出的专业知识整合起来。

之后,我们请了一个由 32 名审稿人组成的小组,审稿人被要求评价文章是否足够全面、正确,以及是否做出了 “ 优秀 ” 金融学术期刊所要求的足够新颖的贡献。

我们最大的收获是,专家评审人普遍认为,所有的这些研究都是可以被接受的。这相当令人震惊:一个聊天机器人被认为居然能够产生高质量的学术研究成果。这就提出了关于创造力的意义,以及创造性想法的所有权归属等基本问题。对于这些问题,还没有人有确切的答案。

优势和劣势

测试的结果还凸显了 ChatGPT 的一些潜在的优点和缺点。我们发现,研究的不同部分得到的评价是不同的。研究思路和数据处理部分,一般都能得到很高的评价。文献综述和测试建议部分的评分虽然较低,但仍可接受。

我们感觉, ChatGPT 特别擅长的是:获取一组外部的文本,并将它们串接起来,或者从一个文档中获取易于识别的部分,并调整它们。

但是 , 当任务更加复杂时,即概念性过程有太多阶段时,这个平台的相对弱点就会显现出来。文献综述和检测通常属于这一类。ChatGPT 往往擅长其中的一些步骤,但不是所有的步骤。这一点似乎已经被审稿人注意到了。

然而,在我们的高级版本(版本 3)中,我们就能够克服这些限制。我们与 ChatGPT 合作,最终获得了可接受的结果。审稿人对这项高级研究的所有部分都给予了很高的评价,这表明学术研究人员的作用尚未消亡。

伦理意义

ChatGPT 是一个工具。在我们的研究中,我们发现,只要稍加注意,它就可以用于生成可接受的金融研究报告。即使是漫不经心,它也能产生貌似合理的工作成果。

这里,有一些明显的伦理意义问题。在学术界,研究诚信已经是一个紧迫的问题,如撤稿观察(RetractionWatch)等网站就源源不断地发布撤稿的报告。ChatGPT 会使这个问题变得更严重吗?

简单地说,这有可能。但尽管如此,也不可能完全避免这一状况。目前,我们认为,研究人员应该将 ChatGPT 视为一种辅助手段,而不是威胁。对于研究生和早期职业研究人员来说,它可能是一种帮助。而且,ChatGPT(以及类似的程序)还有可能有助于研究过程的民主化。

但是,研究人员需要注意,在准备期刊论文时,要禁止使用它。显而易见的是,人们对这项技术有截然不同的看法,因此使用时需要慎之又慎。

来源:THE CONVERSATION;编译:POLARZONE