在《科学报告》(Scientific Reports)上发表的一项研究中，帕绍大学(University of Passau)的一个研究小组将机器生成内容的质量与中学生写的论文进行了比较。结果是:基于人工智能的聊天机器人在所有标准上都表现得更好，尤其是在语言掌握方面。

语言模型ChatGPT正在取得巨大的进步。在3.5版本在2023年初的巴伐利亚考试(一项在德国中学毕业时进行的考试)中失败后，它的继任者版本4在近6个月后获得了坚实的2分。

帕绍大学的一项研究现在已经能够证明人工智能生成的内容在多大程度上可以彻底改变学校系统。研究人员还对两种语言模型版本进行了实验。

在一项发表在《科学报告》(Scientific Reports)上的题为“人类写作与chatgpt生成的论文的大规模比较”的研究中，他们得出结论，机器写得更好。他们根据下萨克森州教育部制定的指导方针，对机器生成的文本和中学生写的文章进行了评估。

帕绍大学(University of Passau)人工智能工程主席斯蒂芬·赫伯德(Steffen Herbold)教授发起了这项研究，他说:“结果如此清晰，我感到惊讶。”两个Open ai聊天机器人版本的得分都高于学生，其中GPT-3排名中等，GPT-4得分最高。“这表明学校不应该对这些新工具视而不见。”

对AI模型的思考

这项跨学科研究是由计算机科学家与计算机语言学家Annette Hautli-Janisz教授和计算机科学讲师Ute Heuer合作进行的。“我发现，随着人工智能模型的日益普及，让教师做好迎接挑战和机遇的准备是很重要的，”豪尔说。

她发起了“chatgpt -机遇与挑战”的培训课程，由研究团队开展。该活动于2023年3月举行，共有139名教师参加，其中大多数在德国体育馆任教。教师们首先简要介绍了通用文本生成器和ChatGPT背后的一些技术思想。然后，实践阶段具体涉及英语文本，培训课程参与者不知道这些文本的来源。

通过问卷调查，教师们被要求根据下萨克森州教育部制定的评分标准对提交给他们的论文进行评估。评估内容的标准包括主题、完整性和逻辑性，以及词汇、复杂性和语言掌握等语言方面。帕绍的研究团队为每个标准定义了一个从0到6的等级，0是最差的分数，6是最好的分数。

这台机器在语言掌握方面的得分高于平均水平

111位教师完成了整个问卷，并评估了总共270篇英语文章。研究小组发现，在语言掌握方面，机器的得分分别为5.25分(GPT-4)和5.03分(GPT-3)，而学生的平均得分为3.9分。

“这并不意味着学生的英语语言能力差。相反，机器取得的分数非常高，”帕绍大学计算修辞和自然语言处理专业的初级教授安妮特·豪特利·贾尼兹强调说。

Hautli-Janisz和博士生Zlata Kikteva一起从语言学的角度分析了这些文本，这项研究为机器的语言发展提供了进一步令人兴奋的见解。“我们已经看到这些模型是如何随着时间的推移而变化的，并且能够通过我们的研究证明，它们在执行我们交给它们的任务方面有所改进。”

研究人员还能够识别人类语言和机器生成语言之间的差异。Hautli-Janisz说:“当我们阅读更多人工智能生成的文本时，我们必须问自己，这是否以及如何影响我们的人类语言。”

更多信息:Steffen Herbold等人，人工写作与chatgpt生成论文的大规模比较，科学报告(2023)。期刊信息:科学报告

由Universität Passau提供 引用:研究表明，ChatGPT比学生写的学校论文更好(2023,11月27日 作品受版权保护。除为私人学习或研究目的而进行的任何公平交易外，未经书面许可，不得转载任何部分。的有限公司 内容仅供参考之用。