随着 AI 变得越来越强大，了解人们是否能辨别文本是否由 AI 生成变得十分重要。我们研究了六项不同的研究，以进一步了解这一问题。
人们能看出文本是否由 AI 生成吗？
有些人认为自己可以，但另一些人则信赖 Bypass Engine 等工具。
鉴于识别或无法识别 AI 文本可能带来的重大影响，了解人们是否能察觉 AI 写作至关重要。为探究这一问题，我们查阅了六项不同的研究。
主要观点（简版）
- 即使相信自己的能力，人们通常也很难察觉文本是由 AI 生成的。
- AI 检测器在识别 AI 文本方面的表现远胜于人类。
- 无法识别 AI 文本可能导致错误信息、在学校作弊以及网络虚假内容等问题。
人们能识别 AI 写作的文本吗？6 项研究详解
尽管许多人对此很有把握，但人们通常很难识别 AI 写出的文字。我们对常见 ChatGPT 相关术语的分析显示，准确识别 ChatGPT 生成的内容比预想中更困难。
为了进一步了解这一问题，我们将详细解析其他研究者开展的 6 项关于人们识别 AI 写作文本的研究。
1. 教师能识别 AI 吗？探究教师识别学生作文中 AI 写作文本的能力。
研究摘要
这项可在 ScienceDirect 上查阅的研究，考察了教师识别 AI 生成内容的能力。
随着 AI 不断进步，在教育领域识别 AI 写作内容至关重要。因此，研究人员开展了测试，以了解教师能否区分 AI 写作文本和人类写作文本。
该研究包含两组参与者：
研究 1（参与者为师范生）
“未来的教师只能正确识别出 45.1% 的 AI 生成文本和 53.7% 的学生原创文本。”
研究 2（参与者为有经验的教师）
“他们准确识别出的 AI 生成文本仅占 37.8%，但正确识别出了 73.0% 的学生写作文本。”
主要观点：
- 参与者很难始终区分 AI 写作内容和人类写作内容。
- 师范生仅正确识别出 45.1% 的 AI 文本。
- 有经验的教师正确识别出的 AI 文本仅占 37.8%。
- 即使参与者自认为很有把握，他们也经常判断错误，这表明他们高估了自己识别 AI 的能力。
结论：
这些发现表明，如果没有顶级 AI 检测工具的帮助，教师很难区分 AI 生成的作品和人类写作的作品。
研究：教师能检测出 AI 吗？考察教师识别学生作文中 AI 生成文本的能力。
2. 并非所有“人类”作品都闪闪发光：评估人类对 AI 文本的判断能力
研究摘要
在康奈尔大学发布的一项研究中，研究人员考察了人们判断内容由 AI 还是人类写作的能力。
他们研究了故事、新闻文章和食谱。
研究人员从社交媒体上选取了 255 个故事，并从中挑选出 50 个人类写作的故事。他们还通过提示词生成了另外 50 个故事。
他们审阅了来自 15 家新闻媒体的 2,111 篇新闻文章，并从中选出 50 篇。随后，他们通过提示词生成了另外 50 篇文章。
他们从 RecipeNLG 数据集中纳入了 50 份人类写作的食谱，并通过提示词生成了另外 50 份食谱。
主要发现
研究结果显示，人们通常很难识别 AI 生成的内容。
在将 GPT2 文本与人类写作文本进行比较时，人们的判断正确率为 57.9%；研究表格中将其四舍五入为 58%。
对于 GPT3，他们的准确率为 49.9%，四舍五入后为 50%。
即使参与者在测试前接受了一些识别 AI 内容的培训，他们的得分也只略有提高，提升幅度并不大。
结果表明，即使事先接受过相关训练，人们仍然难以识别 AI 创作的文本。
了解 AI 检测器的准确率：第三方研究人员对 AI 检测准确率相关研究开展了荟萃分析。
研究：并非所有“人类”作品都熠熠生辉：评估人类对生成文本的判断能力
3. 研究：人们难以区分 GPT-4 与人类
研究摘要
这项由康奈尔大学分享的研究揭示了人们识别 AI 生成文本的能力，其中包括 GPT-4、GPT-3.5 和 ELIZA 三个模型。
这项研究旨在了解人们能否识别由 AI 撰写的内容。共有 500 人参与，他们通过一个类似聊天应用的“游戏”来接受测试。
研究还考察了人们对 AI 的了解程度，或对大型语言模型（LLM）的熟悉程度，是否会影响他们的表现。
主要发现
- 与以往的研究类似，这项研究表明，人们大多无法区分 AI 撰写的文本和人类撰写的文本。
- 人类文本被正确识别为人类创作的比例为 67%。
- GPT-4 有 54% 的时间被误认为是人类撰写的。
- ELIZA 有 22% 的时间被误认为是人类撰写的。
- 至于对 LLM 的了解，这种熟悉程度对人们的准确率有轻微影响。
- 有趣的是，年龄对准确率的影响最大。
- 总体而言，年轻人比年长者更擅长识别 AI 模型。
总结
即使了解相关主题，人们通常也无法判断文本是否由 AI 生成。
想进一步了解如何识别 AI 内容？不妨查看 Bypass Engine 内容检测器准确性评测。
研究：在图灵测试中，人们无法区分 GPT-4 与真人。
4. 你能判断它是不是机器人吗？识别大学论文中的 AI 生成内容
研究摘要
《国际教育诚信期刊》深入研究了如何识别学校作业中的 AI 写作。他们希望了解人们能否区分由 AI 撰写的论文和人类撰写的论文。
共有 140 名大学教师和 145 名大学生参与这项研究。每位参与者都会拿到一篇学生撰写的论文和一篇 AI 撰写的论文，并需要判断哪篇是由 AI 创作的，哪篇是学生写的。
主要洞察
- 参与者很难区分由 AI 撰写的论文。
- 面对 ChatGPT 生成的论文，大学教师的判断正确率为 70%。
- 面对 ChatGPT 生成的论文，学生的判断正确率为 60%。
结论
无论是教师还是学生，都很难识别学校作业中的 AI 内容。
研究：识别机器人？发现大学论文中的 AI 内容
5. 评审人员难以识别肩肘外科手术摘要中的 ChatGPT 生成内容
概述
这项发表于《关节镜：关节镜及相关外科手术杂志》的研究，考察了评审人员识别 ChatGPT 创建的摘要的能力。
研究中，参与者拿到了一组摘要，其中一些由 AI 生成，另一些由人类撰写。他们需要判断哪些摘要是由 AI 生成的。
主要发现
评审人员正确识别 AI 生成内容的比例为 62%。然而，有 38% 的时间，他们误以为人类撰写的摘要是由 AI 生成的。这表明，仅依靠人类判断并不足够，还需要采用其他 AI 检测方法。
结论
与其他研究一样，这项研究表明，人们很难识别 AI 生成的内容。
6. ChatGPT 能否瞒过系统？比较整形外科住院医师申请中的 AI 与人类个人陈述
研究摘要
这项研究由加拿大整形外科医师学会开展，考察的是医学住院医师申请材料中的内容，这是一个非常专业的领域。
两名外科医生参与了这项研究，他们在加拿大住院医师匹配服务（CaRMS）工作了 20 年后近期退休。两人需要审核 11 份由 AI 撰写的申请和 11 份由人类撰写的申请，并判断哪些申请由 ChatGPT-4 创作，哪些由人类撰写。
主要发现
研究发现，评估人员有 65.9% 的时间能够区分 AI 申请和人类申请。论文指出，样本数量较少是这项研究的一个局限，但评估人员的专业经验则是显著优势。
结论
结果表明，人们很难识别 AI 生成的内容。即使是拥有超过 20 年住院医师申请审核经验的专家，也很难分辨申请材料究竟是人类还是 AI 撰写的。
总结
人们能识别 AI 生成的文本吗？这些研究表明，他们做不到。
人们有时能够判断正确，但大多数时候，他们很难区分 AI 文本和人类文本。因此，一款优秀的 AI 文本检测器对于提高判断的清晰度非常有帮助。
AI 检测常见问题
人们能识别 AI 生成的内容吗？
总的来说，人们很难识别内容是否由 AI 生成。研究表明，人们检测 AI 内容的能力差异很大。
AI 检测工具有多准确？
这些工具的检测成功率取决于你使用的工具。Bypass Engine AI Checker 声称准确率超过 99%。此外，Turbo 模型在识别 AI 生成内容方面也拥有超过 99% 的准确率。
如果你想比较热门的 AI 工具，可以参考我们的 AI 检测评测系列。
如果我们无法识别 AI 内容，会发生什么？
这可能会引发严重问题，例如传播错误信息、在学校作弊，以及失去对网上所读内容的信任。
