Stability AI发布更小更快更节省资源的30亿参数语言模型StableLM Zephyr 3B

Stability AI，这家以stable diffusion文本到图像生成人工智能模型而闻名的公司，近日发布了一款专为聊天应用场景优化的30亿参数大语言模型——StableLM Zephyr 3B。这款新型模型是Stability AI在今年四月首次公开的StableLM文本生成模型的优化版本，更小、更快、更节省资源。

相较于7B的StableLM模型，StableLM Zephyr 3B更小，这意味着它可以在更广泛的硬件上部署，占用更低的资源，同时仍然提供快速响应。经过优化后，该模型特别适用于问答和指令跟随类型的任务。

Stability AI的首席执行官Emad Mostaque表示：“相对于以前的模型，StableLM经过更长时间、更高质量数据的训练，例如与LLaMA v27b相比，尽管体积只有其40%，但在基础性能上却能够匹配。”

值得一提的是，StableLM Zephyr 3B并非全新模型，而是Stability AI定义的现有StableLM3B-4e1t模型的扩展。它的设计方法受到HuggingFace的Zephyr7B模型的启发。HuggingFace的Zephyr模型是在开源MIT许可下开发的，旨在充当助手。Zephyr采用一种称为Direct Preference Optimization（DPO）的训练方法，现在StableLM也受益于这一方法。

Mostaque解释说，Direct Preference Optimization（DPO）是一种替代以前模型中使用的强化学习的方法，用于调整模型以符合人类偏好。DPO通常用于更大的70亿参数模型，而StableLM Zephyr是首批在更小的30亿参数大小中使用该技术的模型之一。

为了实现这一优化，Stability AI使用了来自OpenBMB研究组的UltraFeedback数据集进行DPO训练。UltraFeedback数据集包含超过64，000个提示和256，000个响应。DPO、较小的体积和优化的数据训练集的组合为StableLM提供了在Stability AI提供的指标中表现出色的机会。例如，在MT Bench评估中，StableLM Zephyr3B能够胜过包括Meta的Llama-2-70b-chat和Anthropric的Claude-V1在内的更大模型。

近期，Stability AI已经发布了一系列新模型。上周，该公司发布了SDXL Turbo，作为其旗舰SDXL文本到图像stable diffusion模型的更快版本。随着新模型的推出，Stability AI继续推动其能力和工具的发展，并进入不同领域。

Mostaque还表示：“我们相信，针对用户自己的数据进行调整的小型、开放、性能良好的模型将胜过更大的通用模型。随着我们新的StableLM模型的未来全面发布，我们期待进一步实现生成语言模型的民主化。”