复旦大学、中国人民大学等团队发布研究:基于大五人格和MBTI测试,AI角色扮演的特质还原率达82.8%

复旦大学与中国人民大学合作发布AI角色扮演研究:全面评估人格特质的创新方法

近日,一项由复旦大学与中国人民大学合作的Chat凉宫春日团队所发布的研究引起了广泛关注。这项研究专注于探讨AI角色扮演的评估方法,并强调了良好的人设还原度对于评价AI角色扮演的重要性。特质还原率高达82.8%,这一数字足以证明研究的重要性。

研究过程中,团队使用了大五人格的NEO-FFI问卷和MBTI的16Personalities测试,通过LLM进行引导式开放式问答,全面测试了AI角色的人格。这一面谈式人格测试框架的提出,无疑为评估角色扮演AI的人格特质提供了新的方法。复旦大学、中国人民大学等团队发布研究:基于大五人格和MBTI测试,AI角色扮演的特质还原率达82.8%

随着大语言模型的发展,基于这些模型的角色扮演聊天机器人在全球范围内引起了广泛关注。这些聊天机器人有着不同的身份、人格、记忆和语言习惯,而现今的大语言模型能够轻松构建这些角色扮演AI。然而,对于角色扮演AI的分析性研究仍然相当匮乏,尤其是在对它们的评估上。这项研究通过使用心理学的人格相关理论,从大五人格和MBTI等维度对角色扮演AI进行了人格测试,为这一领域的研究提供了新的视角。

与传统聊天机器人的繁琐工程相比,现今的大语言模型能够轻松构建具备不同身份、人格、记忆和语言习惯的角色扮演AI。然而,对于角色扮演AI的分析性研究仍然相当匮乏,尤其是在对它们的评估上。这项研究通过使用心理学的人格相关理论,从大五人格和MBTI等维度对角色扮演AI进行了人格测试,为这一领域的研究提供了新的视角。

研究者提出的面谈式人格测试框架通过开放式问答,使得角色扮演AI的评估更为全面。与传统的Likert Scale相比,这种框架能够更好地激发角色扮演AI的扮演行为,减少对底座LLM训练数据的影响。实验结果显示,现有的角色扮演AI在大五人格和MBTI测试上的还原率达到了82.8%。

研究者指出,这些结果仍受到底座LLM的先验影响,表现为在某些维度上的平均得分与底座模型较为一致。为了研究这一点,研究者比较了不同底座模型对角色扮演AI的影响,发现在某些维度上存在一致性,但在其他维度上并没有明显的相关关系。

综合而言,这项研究为评估AI角色扮演的人格特质提供了新的方法和视角,同时也揭示了在现有技术中存在的一些挑战和限制。未来,随着技术的不断发展,角色扮演AI的人格还原度和表现可能会得到进一步提升。

暂无评论

暂无评论...