OpenAI 推出屏蔽网络爬虫措施，防止数据用于训练GPT 模型

8月8日消息，OpenAI 宣布，现在允许网站屏蔽其网络爬虫，以防止其抓取网站内容用于训练GPT 模型。这一举措为互联网用户提供了选择不让其数据用于训练GPT 模型的第一步。

网站可以通过在其Robots.txt文件中明确禁止GPT Bot爬虫程序的出现，或者阻止其IP地址来实现屏蔽。OpenAI 表示，通过使用GPT Bot抓取的网页可能会用于改进未来的模型，但也会进行过滤以删除需要付费访问、包含个人身份信息或违反政策的内容来源。

阻止GPT Bot不会从OpenAI 的训练数据中删除之前从网站上抓取的内容。获取用于AI训练的数据已经成为一个越来越具有争议的问题。一些网站，包括Reddit和Twitter，一直在努力限制AI公司对用户发布内容的免费使用，同时一些作者和创作人也因涉嫌未经授权使用其作品而提起诉讼。议员们在上个月的几次AI监管听证会上也关注了数据隐私和同意问题。

在获取数据方面，OpenAI 并未确认是否通过社交媒体帖子、受版权保护的作品或者互联网的哪些部分来获取数据。据Axios报道，一些公司，如Adobe，提出了通过反冒充法律来标记数据为不可用于训练的想法。包括OpenAI 在与白宫签署的协议中同意开发一种水印系统，以让人们知道某个内容是否由AI生成，但并未承诺停止使用互联网数据进行训练。