潞晨科技推出的Colossal-AI:650亿参数大模型预训练方案

近日,潞晨科技,一家专注于人工智能领域的创业公司,宣布推出首个开源的Colossal-AI预训练方案,该方案采用了650亿参数的LLaMA低成本预训练模型潞晨科技推出的Colossal-AI:650亿参数大模型预训练方案

据介绍,相较于其他主流选择,该预训练方案在预训练速度上提升了38%,且只需32张A100/A800即可运行,对商业使用没有限制。

有关该预训练方案的详细信息和代码可在以下开源地址查看:https://github.com/hpcaitech/ColossalAI

版权声明:AI导航网 发表于 2023-07-20 12:30:33。
转载请注明:潞晨科技推出的Colossal-AI:650亿参数大模型预训练方案 | AI导航网

暂无评论

暂无评论...