快手与哈尔滨工业大学联合开源「KwaiAgents」系统:性能超越GPT-3.5,探索AI创新应用新高度

近日,快手与哈尔滨工业大学共同开源了「KwaiAgents」系统,通过Meta-Agent Tuning(MAT)方法显著提升了7B/13B模型的效果。这一系统以大模型为核心,配以记忆机制和工具库,形成了自动化迭代系统。记忆机制包含知识库、对话和任务历史,通过混合向量检索和关键词检索技术获取所需信息。工具集涵盖事实性增强工具、异构搜索和浏览机制,汇集多个来源的知识。自动化Loop则负责接收问题、更新记忆、检索信息、任务规划、工具调用和回答生成。快手与哈尔滨工业大学联合开源「KwaiAgents」系统:性能超越GPT-3.5,探索AI创新应用新高度

为避免训练中的过拟合问题,团队提出了MAT方法,分为模板生成和指令微调两个阶段。在模板生成阶段,Meta-Agent生成Agent Prompt模板,并筛选出高质量模板库。指令微调阶段则基于上万模板构建了20万数据集,提升模型在任务规划、工具使用和反思等方面的能力,避免对单一模板的依赖。

KAgentBench是一个Agent能力自动化评测Benchmark,提供开箱即用的准确性和泛化性评测。通过MAT调优,7B-13B模型在各项能力上显著提升,超越了GPT-3.5的表现。

团队表示将持续沉淀核心技术,探索Agents技术与快手业务的结合,并鼓励社区参与这一开源项目,共同推进AI创新应用的发展。

暂无评论

暂无评论...