据IBM的研究显示，大型语言模型如GPT-4很容易被欺骗，从而生成恶意代码或提供虚假的安全建议。

研究人员发现，只需基本的英语知识和对模型训练数据的一些了解，就可以轻松欺骗AI聊天机器人。

他们甚至创建了一个游戏模式来使用户无法退出，进而使机器人继续提供虚假信息或生成恶意代码。

该研究还指出，不同的AI模型对于欺骗的敏感程度有所不同，其中GPT-3.5和GPT-4更容易受到欺骗。

然而，研究人员认为这些漏洞对于大型语言模型的威胁程度属于中等水平。但如果黑客将这些模型释放到互联网上，聊天机器人可能被用于提供危险的安全建议或收集用户的个人信息。

需要注意的是并非所有人工智能模型都容易被操纵，Google的Bard和Hugging Face模型就相对不容易受欺骗。这种差异可能与训练数据和每个系统的规格有关。

近期，安全研究人员在暗网市场上发现了名为"FraudGPT"和"WormGPT"的聊天机器人，据称它们是基于恶意软件示例进行训练的大型语言模型。