清华大学NLP团队与智谱AI及清华KEG实验室宣布,他们的ChatGLM-6B和ChatGLM2-6B模型已经完全开放权重,允许学术研究和商业使用。这两个模型在人工智能研究领域具有重要意义。
ChatGLM-6B模型是基于General Language Model(GLM)架构的中英双语对话模型,拥有62亿参数。通过模型量化技术,该模型可以在消费级显卡上进行本地部署,最低只需6GB显存。该模型具备问答和对话功能,初步展现了其在人工智能领域的应用潜力。
ChatGLM2-6B模型在保留了初代模型的对话流畅和低门槛部署特性的基础上,增加了更多新特性。首先,它采用了GLM的混合目标函数,经过了1.4T中英标识符的预训练和人类偏好对齐训练,性能得到了显著提升。其次,上下文长度从ChatGLM-6B的2K扩展到了32K,可以处理更长的对话内容。第三,推理速度提升了42%,并且在INT4量化下,6GB显存可以支持更长的对话长度,从1K提升到了8K。最重要的是,ChatGLM2-6B的权重对学术研究是完全开放的,这对于推动人工智能技术的发展具有积极意义。
这两个模型的开放将为学术界和商业领域的研究者提供更多机会,推动人工智能的创新与应用。他们的发布也标志着清华大学在人工智能领域的重要突破,为全球的AI研究和应用探索开启了新的篇章。未来,我们可以期待更多基于ChatGLM-6B和ChatGLM2-6B模型的研究成果和应用场景的出现,推动人工智能技术的发展进程。
暂无评论...