如何检测AI撰写的内容重复度?

发布日期: 2024年8月6日

 

使用 ChatGPT 进行写作的文本更加可预测和通用,人为写作更具动态性,叙述方式更不可预测,词汇量更丰富。但与AI编写的内容相比,人为写作可能出现更多的拼写错误。目前使用AI撰写的内容远未达到理想状态, 那么审查AI撰写的内容则至关重要。 

什么是 AI 内容检测?

AI内容检测是结合机器学习和自然语言处理技术来确定文本是由人编写还是由AI生成的过程。使用此过程的工具称为“AI 内容检测器”或“AI 检测器”,并在大量人工和机器编写内容的数据集上进行训练,以识别每种类型写作中的模式。

什么是抄袭检测?人工智能内容被视为抄袭吗?

与相对较新且正在发展的人工智能检测不同,抄袭检测已经存在了一段时间。抄袭检查工具是为了应对学术界日益增多的抄袭现象而创建的,它可以将文本与现有网络内容的大型数据库以及研究论文、杂志、期刊和出版物进行比较,以查看它们之间是否有匹配项。

抄袭检查器不会像人工智能检测工具那样寻找单词或句子结构中可预测的模式,而是寻找关键词、短语和整个句子中的精确匹配或有时不精确的匹配。大多数抄袭检查器的工作方式类似,但其结果可能因其访问的数据库而异。

AI 内容检测器的工作原理

人工智能内容检测器通过分析文本的两个主要特征来工作:困惑度突发性。 

困惑度是指语言模型对一段文本的可预测程度。突发性是指一段文本中某些单词或短语的重复或过分强调程度。 

困惑度越低,文本越可预测,由人工智能语言模型生成的可能性就越大。突发性越低,也意味着人工智能生成的可能性越高。 

换句话说,你可以通过分析句子的可预测性和统一性来检测一段文本中的人工智能写作。

如何检测抄袭和人工智能生成的内容

不正确和过时的信息

虽然有时生成性人工智能看起来和听起来都很写得很好并且很专业,但它也可能具有误导性、不相关或完全错误(又称人工幻觉)。 

因此,检查实际信息的准确性始终很重要。由于大多数机器人都是在有限的数据集(时间、形式或来源)上进行训练的,因此它们可能无法访问最新和最完整的信息。 

缺乏深度和个性

现实生活中的人也会有轶事、观点和看法,所有这些都会决定一个人的思维和写作方式。由于人工智能工具实际上并不写作,而是根据训练数据中的模式生成文本,因此它们无法像人类一样“理解”自己所写的内容,这会导致回应非常肤浅,缺乏批判性思维和深入的主题分析。它们也没有个性,这就是为什么大多数人工智能生成的文本缺乏个人风格,听起来像机器人一样,没有感情。 

与人工智能工具不同的是,记者或文案撰稿人可以与他们所写领域的主题专家进行真实的对话。这种对话可以加深理解,产生有趣的故事和相关的观点,而这是人工智能难以复制的。 

重复语言 

人工智能的另一个常见特征是反复使用相同的单词或短语。这可能是提示中使用的特定关键词的结果,然后人工智能会逐字重复,它也可能缺乏上下文,或者只是具有有限且重复的训练信息。人工智能模型通常也被设计为谨慎和中立,这就是为什么它们可能依赖于更为保守的语言模式,而这些模式有时看起来是重复的。

有人指出,ChatGPT 在写作中经常过度使用衔接和过渡手段,这些词语将段落连接在一起,例如“此外、最后、然而、总而言之、首先、其次、第三、等等”。 

请记住,在这方面没有完美的工具。每个工具可能会检查略有不同的变量,这意味着一个 AI 检查器可能会告诉你一个片段完全是 AI 编写的,而另一个则说它只是部分由 AI 生成。 因此,最好使用多种工具来验证一段文本是否由人工智能生成。 

最佳的 AI 内容和抄袭检测工具

发现人工智能语言和抄袭的另一种方法是通过专门的工具,虽然没有任何工具能够 100% 准确,但它们对于快速检查和获得基础反馈非常有帮助。

AI & Plagiarism Checker

Semrush 的AI 和剽窃检查器可快速检查一段副本是否存在抄袭、是否为AI 生成的写作和检测可读性。它支持 34 种不同语言的抄袭检查,并且 AI 生成的内容检测以英语提供。它允许您检查长达 6,000 个字符的文本,并生成一份详细的报告,重点介绍 AI 和抄袭内容的百分比以及任何语法问题。

Copyleaks

根据康威尔大学研究人员最近的一项研究,Copyleaks 的验证准确率为 99.1%,并且覆盖了包括 GPT-4 和 Bard 在内的完整模型。他们的 AI 检测器的基本版(免费)可直接通过其网站获取,无需注册。但是,扩展功能(例如更多支持的语言、优先检测和更快的处理)可通过订阅获得。 

它的抄袭检测是一个独立的产品,支持扫描常规文本文件、URL 和源代码中是否存在人为写作和抄袭,比较文本、代码和网站,以及从图像中提取文本。

Originality.ai

Originality.ai 自称是“最准确的 Chat GPT、Bard、Paraphrasing 和 GPT-4 AI 检查器”,声称 AI 内容检测准确率高达 99%。该工具专为内容和 SEO 专业人士设计,他们需要确保发布的内容是原创的,并且不存在抄袭。 

该工具没有免费版或广告版,因为它使用自然语言处理技术,需要更多的计算能力。与大多数 AI 内容检测工具不同,Originality.ai 还提供完整的网站扫描,而不是单个文档扫描,并且没有字符限制。

该工具最引人注目的特点之一是它不仅可以检测抄袭和虚假写作,还可以检测改述抄袭,这意味着它可以判断内容是否经过改述。

检查 AI 内容

随着越来越多的公司将AI写作工具添加到其营销工具包中,校对和检查使用这些工具创建的内容中是否存在抄袭和AI语言已正在成为常态。

虽然人工智能生成的内容越来越好,越来越像人类,但仍然需要我们的关注,以确保最终的草稿是原创的、值得信赖的,并具有让故事脱颖而出的个性化风格。

本篇文章来源于微信公众号: 外贸加出海