开源资讯
每一个新动态都是尊龙凯时 - 人生就是搏!向前迈进的新脚步

尊龙官网“玄学”、|大佬塞玩具无法走路作文|误判和偏见:高校检测AI论文背后

2024-07-22

  AI中风险★◈,疑似用ChatGPT生成——这是去年四月★◈,学校查重系统对王宇毕业论文的判定★◈。王宇一下慌了★◈。

  当时ChatGPT惊艳亮相不到半年★◈,教育界一度担心学生有了“作弊神器”★◈。在这一背景下★◈,知名学术查重软件Turnitin率先推出了AI文本检测器★◈,用来识别论文中的AI生成内容★◈。国内的格子达★◈、知网两大查重系统也先后上线了AIGC检测功能★◈,王宇就是第一届被检测毕业论文AI率的学生★◈。

  随着生成式AI快速迭代★◈,规则和技术渐渐填上监管线月提交审议的《学位法》(草案)拟定★◈,人工智能代写属于学术不端行为★◈,严重者可被撤销学位证书★◈。今年1月★◈,Turnitin的AI文本检测成为正式功能★◈,开始像查重服务一样向高校收取费用★◈,一定程度上意味着AI论文检测步入正轨★◈。

  但这没有阻挡学生的使用★◈,高校学生依然是生成式AI的主要用户群★◈。“直接把题目扔给AI让它写一整篇论文★◈,老师肯定一眼就能看出来★◈,我身边已经没什么人这么做了★◈。”刘晨曦告诉21世纪经济报道记者★◈,她的用法是让ChatGPT总结文献★◈、降重★◈、润色★◈,这也是许多学生现在的使用方式★◈。

  不过★◈,刘晨曦的论文还是被标记了25%的AI率★◈,任课老师要求重写★◈。王宇在写毕业论文的过程中没有用到生成式AI★◈,她曾经自己尝试找出有“AI风格”的句子★◈,改了两轮后★◈,“AI率越改越高★◈。”

  王宇去年毕业于湖南一所大学的商科专业★◈。一开始看到自己的本科毕业论文被标记为“AI中风险”★◈,王宇还不知道问题出在哪里★◈,因为她没用过ChatGPT这样的工具写作★◈。直到老师将教师版本的AI检测报告发过来★◈,王宇才明白★◈,那些AI疑似度高的段落★◈,大多是被自己“降重”过的★◈。

  “降重”指降低重复率★◈。此前在学生中流行的一种降重方法是★◈,用翻译软件多次转换语言★◈,把他人的话快速“转述”为自己的观点★◈。王宇用的就是这种办法★◈,她把一段话先从中文翻译成英文★◈,再将英语译成日文★◈,最后译回中文★◈,以此更换词语和语序★◈,降低与原文的相似度★◈。

  王宇学校使用的是格子达查重系统★◈,去年四月开始运行“类AI辅写行为检测”功能★◈。在王宇的个人提交界面★◈,论文被评级为AI中风险★◈。在王宇老师的界面★◈,可以更清晰地查看可疑文本★◈,每一句的AI疑似度分高★◈、中★◈、低三档★◈,辅写工具均判定为ChatGPT★◈。

  除了格子达和知网★◈,AI检测工具尚未在国内高校全面铺开★◈。相比之下★◈,Turnitin查重系统在海外应用更广尊龙官网★◈,检测也更细致★◈。刘晨曦在加拿大上学★◈,去年十二月★◈,她的一篇论文在Turnitin中显示AI率25%——意思是25%的文本疑似由AI生成大佬塞玩具无法走路作文★◈。老师因此让她重写★◈,并且无论如何都要扣除25%的分数★◈。

  这篇论文是刘晨曦英语文学课的结课作业★◈,主题是比较两部文学作品★◈。写论文时★◈,她先跟ChatGPT最新的GPT-4大模型讨论写作方向★◈,得到了比较两位俄国女诗人的灵感★◈。接着让GPT-4查找文献★◈,自己写出大纲和草稿★◈。最后再让GPT-4降重★◈、润色★◈。最终论文里有多少属于AI★◈,多少属于自己★◈,她很难区分清楚★◈。

  刘晨曦说★◈,GPT-4直接输出论文仍然很生硬★◈,编造文献不少★◈,“还不如自己写”★◈。但比起传统的降重方法★◈,ChatGPT的优势是可以精准“调教”★◈,比如改写特定的句子★◈,或者解释复杂概念★◈。在找文献上也更快捷★◈,原本需要检索两到三天的文献★◈,GPT-4几个小时就能整理完毕★◈。

  根据Nerdynav的调查★◈,43%的大学生用过生成式AI完成作业★◈。英国媒体The Lab统计发现★◈,罗素大学集团下的八所大学★◈,对ChatGPT的访问量在两个月内高达100万★◈。其中12月和1月是校园网络访问ChatGPT的高峰期★◈,正是考试集中月★◈。多位受访学生告诉记者★◈,AI一键生成的论文意义不大★◈,基本达不到学校要求★◈。学生现在的主要用法是总结文献★◈、降重★◈、润色语言★◈,本质还是他们曾经抄过的一条“捷径”★◈。

  划下AI率红线后★◈,这条“捷径”走不通了★◈。从去年夏天起★◈,小到随堂感想★◈,大到结课论文★◈,刘晨曦的学校都要求AI率为0%★◈。

  王宇学校规定★◈,毕业论文必须为AI低风险★◈。她把被标记为AI的句子用自己的“大白线个版本后★◈,论文终于变为AI低风险★◈。“这是个玄学★◈。”王宇形容★◈。

  多所高校都发布过AI论文禁令★◈。最早开始的是美国纽约教育局★◈,其限制在学校Wi-Fi网络环境中访问ChatGPT★◈。英国大学尤其注重学术诚信★◈,牛津★◈、剑桥大佬塞玩具无法走路作文★◈、帝国理工等28所英国大学都曾宣布★◈,在论文和课程作业中不当使用AI★◈,将被视为违反学术诚信的行为★◈,严重者可能被开除学籍★◈。香港大学也表示★◈,学生在课程作业中使用AI需要老师批准★◈,否则可以按作弊处理★◈。

  AI检测技术的影响是立竿见影的★◈。Tunitin上线AI检测器的一个月内★◈,全球有超过一万所中高等教育机构激活了这款工具★◈。除了Turnitin★◈,市面上还流行GPT Zero★◈、 Copyleak等AI检测工具★◈,大多向个人免费开放★◈。

  一留学中介在社交媒体上分享★◈,2023年在英国留学生中★◈,AI代写论文的学术听证会数量★◈,已经超过人工代写★◈。“AI检测率高是很石锤的学术不端★◈。”

  但AI检测器准确吗?石白在美国加州大学系统下的一所大学担任助教★◈,她告诉记者★◈,如果论文全篇用AI生成★◈,有经验的助教一眼就能看出来★◈。去年秋季学期★◈,她的课上就有两篇论文属于这种情况尊龙官网★◈。“用词华丽空洞★◈,而且引用的文献基本不存在★◈。”石白搜索了一款AI检测工具★◈,99%的检测结果帮她肯定了自己的猜测★◈。

  被怀疑有AI参与的论文还有三到四篇★◈,AI率在30%~40%之间★◈,但石白没有追究★◈。一个原因是★◈,她熟悉其中一位学生的写作风格★◈,其写法一直比较华丽★◈;另一方面★◈,有其他助教曾经检测了自己的原创论文★◈,AI率也有30%~40%★◈,这让石白觉得AI检测工具还不够可靠★◈。

  刘晨曦用五篇AI参与程度不同的论文★◈,测试了市面上的主流AI检测工具★◈,得出的结论是★◈:除非完全不用任何工具★◈,否则都有AI含量★◈。比如★◈,去年十二月★◈,她让GPT-4润色了知名哲学家朱迪斯·巴特勒★◈、斯拉沃热·齐泽克的两篇论文★◈,前者在Turnitin检测出的AI率为51%★◈,后者为34%大佬塞玩具无法走路作文★◈。

  “而且巴特勒本人就喜欢用生僻词语★◈、长难句写作★◈,哪怕直接提交她在上个世纪发表的论文★◈,也显示有AI内容★◈。”刘晨曦补充道★◈。

  尽管许多AI检测工具声称误判率在1%之内★◈,但在使用过程中★◈,误判概率似乎远高于官方数字★◈。最大的误判区是语法工具★◈、翻译软件和润色功能★◈,一些固定的个人写作风格也可能被误伤★◈。

  对于可能出现的误判★◈,Turnitin的解释是★◈:“AI检测器会识别书写过于一致尊龙官网★◈、平均的模式★◈,而许多人的写作水平可能就属于平均模式★◈。” 这也是市面上大部分AI检测器的说法★◈。

  简单来说★◈,人类往往会综合使用长短句★◈,而AI 的句子更单调尊龙官网★◈。此外★◈,人类的文本通常还有复杂的转折★◈、非典型的逻辑结构★◈,让AI无法准确工具测下一个词语★◈。这两个影响因子决定了★◈,一些遵循“写作模板”的论文★◈,可能被误认为是AI作品★◈。至于这些模板究竟是什么★◈,具体如何运作★◈,几乎没有AI检测器能够提供解释★◈。就像AI一样★◈,目前AI检测的技术原理也处于黑箱之中★◈。

  考虑到存在误差★◈,许多AI检测工具都发布了“免责声明”★◈。比如Turnitin建议★◈,不把AI率当作唯一标准★◈,希望老师综合专业经验以及对学生的了解做判断★◈。

  北京大学教育学院学习科学实验室执行主任尚俊杰在采访中告诉21记者★◈,目前AI检测器的意义★◈,主要是监督明显的学术不端行为★◈,比如直接用AI生成全文★◈。

  还有一种情况是★◈,AI灵活应用在整个研究和写作过程中★◈。此时的核心问题在于★◈,哪些行为算学术不端★◈,哪些行为算合理使用?简单用数字高低判断并不科学★◈,划分界限是个难题★◈。

  论文被检测出25%的AI率★◈、判定为抄袭后★◈,刘晨曦将每一阶段的草稿尊龙官网★◈、文献整理笔记★◈、浏览器搜索历史发给老师★◈,证明论文是自己的原创作品★◈,成功争取到了老师的认同★◈。不过★◈,申诉中介让她不要跟老师提到ChatGPT★◈,于是她谎称用的是另一款老牌写作工具Grammarly★◈。

  Grammarly是上一波人工智能浪潮的产物★◈,主要用来纠正语病★◈、润色语句★◈,不少欧美大学的写作指导中心甚至会鼓励学生先用Grammarly批改作业★◈。“严格意义上★◈,用辅助工具都算作弊★◈。但老师比较能理解这些软件的作用★◈,所以我只能这么说★◈。”刘晨曦解释★◈。

  既是在读博士★◈,又为大一★◈、大二学生授课的石白★◈,一方面能理解学生用AI写论文大佬塞玩具无法走路作文★◈,因为她也常用ChatGPT做论文的前期准备★◈,比如做表格★◈、搜文献★◈;另一方面★◈,她认为本科生无法把握使用的边界★◈,所以才会在教学大纲中完全禁止学生使用AI★◈。

  多位受访学生提到★◈,求助AI的一个原因是学术能力有限★◈。“本科生的论文没什么学术含金量★◈,这种综述性的作业★◈,大家都是找几篇论文凑一凑观点★◈,再找工具改一改★◈。”王宇说★◈,只要不涉及数据造假★◈、文献造假★◈,她觉得用AI写论文没有什么问题★◈。

  但在石白看来★◈,学术论文是观察★◈、思考★◈、提问★◈、论述的完整过程★◈。一篇名为《感谢ChatGPT揭露本科论文的平庸》的文章写道★◈,本科论文的重点是教育★◈,而不是知识的进步★◈。最关键的是训练和展示学生处理信息的能力★◈,不是产出有价值的知识★◈。“如果一直依赖ChatGPT得到结果★◈,就不会经历批判思维的训练过程★◈。而过程才是我想让学生学习的★◈。”石白说★◈。

  华盛顿大学的一位教授在《大西洋月刊》上表示★◈,被识别出AI内容的论文可能介于完全没用AI★◈,工具者100%用AI之间★◈。学生究竟怎么使用★◈、用法是否错误★◈,AI检测工具无法回答★◈,师生间诚实的沟通变得越来越重要★◈。

  尚俊杰告诉记者★◈,技术革新一直在影响着教育系统★◈。上世纪的学生需要去图书馆逐本翻阅文献★◈,一遍遍用手誊写论文★◈。搜索引擎和电子文稿软件普及之后★◈,学生可以直接在网上检索文献大佬塞玩具无法走路作文★◈、复制粘贴★◈、比较分析★◈、归纳总结★◈,大大提升了工作效率★◈。可以说★◈,计算机在整个研究和论文写作过程中起到了巨大作用★◈,应用AI是必然趋势★◈。

  在尚俊杰看来大佬塞玩具无法走路作文★◈,AI对高等教育是一次新的提升机会尊龙官网★◈,也提出了更大的挑战★◈。引导学生合理使用AI★◈,需要重新思考教育系统的“游戏规则”★◈。

  石白认为★◈,应对生成式AI的冲击★◈,课程设置和考核方式很重要★◈。她观察到★◈,学生用AI写论文★◈,往往跟论文难度有关★◈。比如她发现有数篇AI论文的课程★◈,“学生才刚接触学术写作★◈,老师对论文字数★◈、文献引用数量的要求又很高★◈,其实超过了学生的能力范围★◈。” 另一门课的论文要求相对合理★◈,而且着重于学生批判★◈、思考的基础能力★◈,石白在这门课上几乎没有发现AI代写论文★◈。

  近几个月★◈,包括西北大学★◈、德克萨斯大学奥斯汀分校在内的几所美国高校宣布关闭Turnitin的AI检测服务★◈,并放宽对AI的限制★◈。此前澳洲的多所大学尝试转变考核方式★◈,减少标准考卷★◈,采用更多的口头报告★◈、现场演示★◈。

  还有一些学校开始积极拥抱AI★◈。今年1月★◈,美国亚利桑那州立大学引入ChatGPT企业版★◈,成为第一个与OpenAI合作的高等教育机构大佬塞玩具无法走路作文★◈。该校校长表示★◈:“AI将成为帮助学生提高学习效率★◈,更全面地理解学科的工具尊龙官网★◈。此次合作反映了我们的理念和承诺——我们要直接参与到人工智能学习技术的发展过程中★◈。”

  尚俊杰指出★◈,在人工智能时代★◈,学生应该做什么★◈、学什么★◈、怎么学★◈,成为一个很重要的问题★◈。“对于现在的高校学生★◈,我们要求他们具有一定的计算机能力★◈。在未来★◈,什么能力是学生需要具备的?哪些能力将与AI挂钩?” 斯坦福大学机器人及未来教育项目主任蒋里曾预测★◈,未来学生的能力会被分成两种★◈:一种是单打独斗的能力★◈,不借助任何AI工具的帮助★◈;另一种是AI加持下的能力★◈,这可能是今后最为重要的能力★◈。不同的能力要求★◈,将重塑人才培养模式★◈。

  从更长远的尺度看★◈,当AI全面参与研究过程★◈,学术规范等诸多规则也会迎来改变★◈。例如尚俊杰提到★◈,在文章中如何提及AI的贡献★◈,AI能否列为论文作者★◈,乃至如何定义学术诚信★◈、学术剽窃★◈,都是未来会面临的问题★◈。

  “AI应用于高等教育已经是必然趋势★◈,需要鼓励正确使用★◈,而不是一刀切的禁令★◈。人类要探索的新问题是★◈,在人工智能时代下★◈,怎样构建新的学术规范和伦理规则尊龙官网★◈。”尚俊杰说★◈。大佬塞玩具无法走路作文★◈、尊龙人生★◈。尊龙凯时app下载★◈,尊龙凯时人生就是搏