基于其 AI 文本检测器无法准确判断文本是否由 AI 生成,该项目决定将其下架。该检测器在判断文本是由人还是机器生成方面的准确率较低。项目方表示他们正在积极努力改进,并研究更有效的文本来源技术,以及开发能够帮助用户了解音频或视觉内容是否由 AI 生成的机制。
原本该检测器是免费供用户使用的,用户可以将文本复制粘贴到其中以检查其是否由计算机生成。这对于确定电子邮件、博客文章或论文是否由人撰写非常有用。该分类器使用大型语言模型对内容进行排名,以确定其中有多少可能是由软件生成的,从“非常可能”到“不确定”到“可能”。
在发布时,项目方警告称其 AI 检测器“不完全可靠”,并承认它很容易错误地将人类写的文本标记为机器写的。然而,尽管存在这些问题,该检测器仍然受到许多人推崇,他们支持使用 AI 技术来辅助文本来源的判断。
该检测器在处理经过人类编辑的 AI 生成文本方面表现不佳,同时对于训练数据集中未见过的散文也感到困惑。此外,它在预测方面也存在过度自信的问题,有时会对错误的预测非常自信。
项目方决定推出该 AI 检测器是因为人们对机器生成内容被学生用来写作文和完成作业的担忧日益增长。在发布时,他们敦促教育工作者不要将该模型的预测视为绝对真实,而是将其作为一种辅助工具来确定文本来源的其他方法。
对于准确检测 AI 生成的文本来说,目前仍然是一个棘手的问题。其他开发者和公司开发的类似工具也存在不可靠性,并对学生的教育带来了实质性的影响。例如,美国德克萨斯州农工大学的一位教师因将学生的文本预测为 AI 生成而暂时扣留了一些学生的成绩,该大学随后恢复了学生的分数。
与此同时,Turnitin 开发的 AI 软件已在学校和大学中广泛使用,据称具有“98% 的准确率”用于解决抄袭问题,尽管其真实准确性尚不清楚。马里兰大学的计算机科学家进行的一项研究表明,目前最好的检测器在正确检测机器生成文本方面的准确率并不比抛硬币好多少。
各方仍在努力解决这个棘手的问题。最近,一个由微软资助的实验室承诺在与拜登-哈里斯政府的合作中开发用于 AI 生成内容的数字水印技术,以确保下一代机器学习技术的安全使用。