蚂蚁集团开源了两项与大模型相关的技术创新：ATorch 和 Lookahead。

ATorch 是一个大模型分布式训练加速扩展库，旨在提高深度学习的智能性和算力利用率。通过实现深度学习自动资源动态优化和分布式训练稳定性提升，ATorch 可提升千亿模型在千卡级别训练的算力利用率至60%。这一技术采用了分层架构设计，功能清晰、全面，为开发者提供简洁的开发体验。作为 PyTorch 框架的高性能扩展加速库，ATorch 尽量减少用户代码侵入，为大规模模型训练提供高效解决方案。在实践中，ATorch 在多个开源模型的训练优化中表现出色，显著提升了算力利用率和稳定性。

Lookahead 则是一个推理加速框架，旨在提高大模型的推理效率。通过采用多分支策略，Lookahead 能够在一次前向过程中生成更多 Token，从而进一步挖掘硬件性能。此外，该框架利用 trie 树存储和检索 Token 序列，合并相同父节点以提高计算效率。为了简化使用，Lookahead 的 trie 树构建不依赖于额外的草稿模型，而是利用推理过程中的 prompt 及生成答案进行动态构建，降低用户接入成本。

这两项技术均已在蚂蚁集团的大模型训练开源产品 DLRover 中得到应用，帮助开发者更专注于模型架构设计，而无需过多关注工程细节。

关于这两项技术的更多信息，你可以访问开源地址获取：

ATorch 的开源地址: https://github.com/intelligent-machine-learning/dlrover/atorch
Lookahead 的开源地址: https://github.com/alipay/PainlessInferenceAcceleration

同时，你也可以查看相关的论文以深入了解这两项技术的工作原理：

ATorch 的论文地址: https://arxiv.org/abs/2312.12728
Lookahead 的论文地址: https://arxiv.org/abs/2312.12728