根据最新研究，使用AI聊天机器人的用户中，有来追求不适当的目的。这一发现引发了对这一现象的关注，并揭示了令人不安的统计数据。近10%的人滥用这一技术经过对10万次聊天机器人对话的分析，发现约有10%的对话内容涉及到不安全的主题。这些主题被分为三类：一类是请求明确和淫秽的故事叙述，占样本对话的5.71%；第二类是明确的性幻想和角色扮演情景，占3.91%；第三类涉及讨论不同身份之间的有害行为，这一类主题聚焦在偏见问题上，但并未详细定义有害行为。

研究人员来自伯克利和斯坦福的团队，他们共同运营着一个称为“聊天机器人竞技场”的游戏化服务，通过该服务收集了大规模的样本数据。此外，研究还使用了由伯克利的Lianmin Zheng参与开发的开源竞争者Vicuña收集的数据集，该数据集从世界各地的210,000多个IP地址中随机抽取了10万条完整的对话。

尽管AI聊天机器人在媒体上受到广泛关注，但关于人们与聊天机器人在实际世界中的互动情况，除了技术如何影响学术、商业和出版界的研究外，还没有太多深入的研究。研究人员表示，他们希望这项研究能为所有用户提供更安全的聊天机器人体验，除了那些滥用的用户以外。