中国联通宣布,其旗下联通数据智能公司成功打造的“联通元景文生图模型”已正式开源。这一模型是中国首个完全基于国产昇腾AI软硬件平台实现训练和推理的中文原生文生图模型。
在技术创新方面,该模型取得了多项突破。首先,在架构层面,模型在SDXL架构中融入了复合语言编码模块,从而能够精确理解中文长文本、多属性对应以及中文特色词汇的语义,显著提升了对应图像的生成效果。
其次,借助昇腾AI大规模算力集群,模型实现了高效的训练和推理,并将模型和代码向业界全面开源,旨在推动文生图领域的国产化进程。
值得一提的是,原始SDXL的语言编码器仅支持英文CLIP模型,输入长度受限且无法处理中文。而联通元景文生图模型则通过替换为中文CLIP模型并引入复合语言编码架构,不仅突破了文本长度的限制,还实现了对中文的原生语义理解。
此外,模型通过海量中文图文数据的预训练,能够准确理解并生成中文专属名词以及英文模型难以理解的名词(如中文菜谱等)的高质量图片。
中国联通在国产昇腾AI平台上实现了元景文生图模型从微调训练到推理的一体化适配。用户可以使用自定义数据集进行微调训练,实现从其他平台到昇腾平台的平滑切换;同时,模型推理接口简单易用,支持单卡和多卡,单卡推理还支持UNet Cache加速。
目前,该模型已在联通的多个内外部项目中得到应用,涉及文创、服装、工业设计等多个领域,并成功支撑了数十个案例。
现在,联通元景文生图模型已在GitHub、Hugging Face、魔搭、始智等社区全面开源,用户可以通过以下链接获取:
GitHub: https://github.com/UnicomAI/UniT2IXL.git
HuggingFace: https://huggingface.co/UnicomAI/UniT2IXL
魔搭: https://www.modelscope.cn/UnicomAI/UniT2IXL.git
始智: https://wisemodel.cn/models/UnicomAI/UniT2IXL