复旦大学与中国人民大学合作发布AI角色扮演研究：全面评估人格特质的创新方法

近日，一项由复旦大学与中国人民大学合作的Chat凉宫春日团队所发布的研究引起了广泛关注。这项研究专注于探讨AI角色扮演的评估方法，并强调了良好的人设还原度对于评价AI角色扮演的重要性。特质还原率高达82.8%，这一数字足以证明研究的重要性。

研究过程中，团队使用了大五人格的NEO-FFI问卷和MBTI的16Personalities测试，通过LLM进行引导式开放式问答，全面测试了AI角色的人格。这一面谈式人格测试框架的提出，无疑为评估角色扮演AI的人格特质提供了新的方法。

随着大语言模型的发展，基于这些模型的角色扮演聊天机器人在全球范围内引起了广泛关注。这些聊天机器人有着不同的身份、人格、记忆和语言习惯，而现今的大语言模型能够轻松构建这些角色扮演AI。然而，对于角色扮演AI的分析性研究仍然相当匮乏，尤其是在对它们的评估上。这项研究通过使用心理学的人格相关理论，从大五人格和MBTI等维度对角色扮演AI进行了人格测试，为这一领域的研究提供了新的视角。

与传统聊天机器人的繁琐工程相比，现今的大语言模型能够轻松构建具备不同身份、人格、记忆和语言习惯的角色扮演AI。然而，对于角色扮演AI的分析性研究仍然相当匮乏，尤其是在对它们的评估上。这项研究通过使用心理学的人格相关理论，从大五人格和MBTI等维度对角色扮演AI进行了人格测试，为这一领域的研究提供了新的视角。

研究者提出的面谈式人格测试框架通过开放式问答，使得角色扮演AI的评估更为全面。与传统的Likert Scale相比，这种框架能够更好地激发角色扮演AI的扮演行为，减少对底座LLM训练数据的影响。实验结果显示，现有的角色扮演AI在大五人格和MBTI测试上的还原率达到了82.8%。

研究者指出，这些结果仍受到底座LLM的先验影响，表现为在某些维度上的平均得分与底座模型较为一致。为了研究这一点，研究者比较了不同底座模型对角色扮演AI的影响，发现在某些维度上存在一致性，但在其他维度上并没有明显的相关关系。

综合而言，这项研究为评估AI角色扮演的人格特质提供了新的方法和视角，同时也揭示了在现有技术中存在的一些挑战和限制。未来，随着技术的不断发展，角色扮演AI的人格还原度和表现可能会得到进一步提升。