微软Phi-4小模型震撼发布：140亿参数，40%合成数据，数学性能超GPT-4o

近日，微软正式推出了其下一代小模型Phi-4，这款模型凭借140亿参数和高达40%的合成数据，在数学性能上成功击败了GPT-4o，引发了业界的广泛关注。同时，一份长达36页的技术报告也随之出炉，详细揭示了Phi-4背后的技术创新与突破。

Phi-4在数学领域的表现尤为抢眼。在GPQA和MATH基准测试中，其性能直接碾压了GPT-4o和Gemini Pro1.5等强劲对手，甚至在2024ACM数学竞赛问题上取得了91.8%的准确率，这一成绩让Phi系列前负责人Sebastien Bubeck都感到惊讶不已。

那么，Phi-4究竟是如何取得如此卓越的成绩的呢？这背后离不开三大核心技术的支撑：预训练和中训练的合成数据、高质量有机数据的筛选和过滤，以及后训练技术的创新。

其中，合成数据在Phi-4的训练中占据了举足轻重的地位。与传统的基于网络内容或代码的自然产生数据不同，Phi-4有策略地融入了合成数据，这些数据通过多种技术生成，包括多智能体提示、自修订工作流和指令反转等。这些技术方法能够构建出更具推理和问题解决能力的数据集，从而有效提升了模型的性能。

除了合成数据，Phi-4还实现了精选原生数据的筛选和过滤，以及领先的后训练技术，如DPO中的关键token搜索（Pivotal Tokens Search）。这些技术的结合，使得Phi-4在推理相关任务上的性能与更大的模型相当，甚至在某些方面超越了它们。

值得一提的是，Phi-4在训练过程中并没有完全依赖教师模型的蒸馏能力，而是更多地依赖于数据生成和后训练技术的创新。这一点在STEM领域的问答能力上得到了充分体现，Phi-4显著超越了其教师模型GPT-4o，证明了数据和技术创新对于模型能力提升的重要性。

为了验证Phi-4的泛化性能，研究者在2024年11月的AMC-10和AMC-12数学竞赛上进行了测试。结果显示，尽管Phi-4只有14B参数，但其平均得分甚至大幅超过了GPT-4o等更大的模型。这一成绩进一步证明了Phi-4在数学领域的卓越实力。

此外，Phi-4还继承了Phi系列前几代的传统，在教科书级别的合成数据上完成了训练。这使得模型在理解和解决数学问题方面具有更强的能力。同时，合成数据的使用还带来了数据结构化和支持渐进式学习、将训练与推理上下文对齐等优势，进一步提升了模型的性能。

目前，Phi-4已在微软Azure AI Foundry上提供，并将于下周在HuggingFace上线。相信随着Phi-4的广泛应用和深入研究，我们将看到更多关于这款小模型的精彩表现和创新成果。

总的来说，Phi-4的发布标志着微软在语言模型领域又迈出了坚实的一步。这款小模型凭借卓越的数学性能和先进的技术创新，无疑将成为未来语言模型发展的重要方向之一。让我们共同期待Phi-4在未来的更多精彩表现吧！