当前位置:主页 > 列表页 > 正文

AI佟湘玉 PK AI吕秀才!人大和北邮联合发布的评测基准,能分辨大模型角色扮演哪家强

2024-01-10 16:18 | 出处: 品玩

原文来源:品玩

作者:吕可

图片来源:由无界 AI生成

Role-Playing Conversational Agents(RPCA)是一类对话代理,它们被设计成能够模仿特定角色或人物进行对话。这些角色通常来自于现有的文学作品、电影、卡通、游戏等,具有特定的知识、行为和回应风格。RPCA的目标是与用户进行沉浸式的互动,提供情感价值而非仅仅是信息或生产力。

与传统的聊天机器人不同,RPCA更注重于角色扮演和情感交流。它们能够根据用户的输入,以特定角色的身份进行回应,从而创造出一种仿佛与真实人物对话的体验。这种类型的对话代理在娱乐、教育、心理辅导等领域有着广泛的应用前景,因为它们能够提供更加个性化和情感化的交互体验。

RPCA的挑战在于如何准确地模拟角色的知识、行为和风格,同时保持对话的连贯性和吸引力。为了评估这些代理的性能,来自中国人民大学高瓴人工智能学院的三位研究者联手北京邮电大学人工智能学院共同推出了一个名为CharacterEval的中文基准测试。并辅以一个量身定制的高质量数据集。

该数据集由 1785 个多回合角色扮演对话组成,包含 23020 个例子和 77 个来自中国小说和剧本的角色。比如《武林外传》中的佟湘玉和吕秀才。CharacterEval 可以直接让不同的大模型生成这两个角色进行对话,并根据基准测试的标准来给出相应的能力评分。

作为基准测试,CharacterEval 采用多维度评估方式,包括对话能力、角色一致性、角色扮演模式以及个性测试四个维度,每个维度还有不同的指标,一共十三个具体指标。

对话能力(Conversational Ability)

角色一致性(Character Consistency)

角色扮演吸引力(Role-playing Attractiveness)

个性测试(Personality Back-Testing)

研究团队还推出了一个名为 CharacterRM 的奖励模型,用于对主观指标的评估。CharacterRM 通过与人类判断的相关性来评估RPCA在主观指标上的表现。而根据实验结果,其性能优于GPT-4,当人这只能说是角色扮演这方面。

研究团队用了几个比较常用的 AI 大模型进行了测试,其中包括常见的 ChatGLM3-6B、GPT-4、minimax、Baichuan2-13B等,并根据他们的表现给出了评分。

CharacterEval 的诞生,填补了角色扮演对话代理(RPCAs)领域缺乏全面评估基准的空白。而他的发布也有助于该领域的发展以及以及用户体验提升。

研究团队先已经放出了CharacterEval 相关数据集、论文等信息,感兴趣的人可以通过GitHub访问。此外,该测试的代码也将会在不久后更新在其 GitHub页面中。

论文地址:GitHub - morecry/CharacterEval: repository for CharacterEval, a benchmark for role-playing conversation

Arxiv地址:https://arxiv.org/abs/2401.01275

相关文章