解决“佛跳墙、妻子饼”问题，联通开源首个完整在国产昇腾 AI 平台练习跟推

处理“佛跳墙、妻子饼”成绩，联通开源首个完整在国产昇腾 AI 平台练习跟推理的中文原生文生图模子“元景” 处理“佛跳墙、妻子饼”成绩，联通开源首个完整在国产昇腾 AI 平台练习跟推理的中文原生文生图模子“元景” 2025年01月08日 18:01 IT之家 IT之家 1 月 8 日新闻，联通数据智能无限公司本日发布开源首个完整在国产昇腾 AI 基本软硬件平台上实现练习跟推理的中文原生文生图模子 —— 元景文生图模子。在架构上，经由过程在 SDXL 架构中融会复合言语编码模块，实现了对中文长文本、多属性对应跟中文特点词汇的准确语义懂得，对应图像的天生后果失掉了极年夜晋升。在昇腾 AI 年夜范围算力集群上实现了中文原生文生图模子的练习跟推理，并将模子跟代码对业界开源，以推进文生图范畴的国产化过程。联通数据智能无限公司表现，以后的文生图主流模子以英文输入为主，中文原生的文生图模子研发则绝对比拟迟缓，这招致了模子对中文语义的懂得才能缺乏，中文特点图片天生才能无限。对此，元景文生图模子一方面将英文 CLIP 模子调换成中文 CLIP，使得模子中文漫笔本输入存在更好的懂得才能；同时，引入复合言语编码架构，将基于 encoder-decoder 架构的言语模子引入了言语编码器局部，这使得模子能支撑超越 CLIP 长度限度的长文本，实现更正确的中文语义懂得跟断定。元景中文文生图架构经由过程引入复合言语编码模块，元景文生图模子实现了原生中文语义懂得，防止了传统的应用翻译插件等作为中介挪用英文文生图模子的方式所带来的中文信息丧失。同时经由过程引入海量中文图文对数据停止预练习，模子对中文专属名词，如鼠标-老鼠、仙鹤-吊车等英文模子易混杂的工具，以及中文菜谱等英文模子无奈懂得的名词，都可能正确懂得并天生对应的图片。▲ 提醒词：鼠标、老鼠（在英文中均翻译成 mouse，易混杂）提醒词：仙鹤、吊车（在英文中均翻译成 crane，易混杂）提醒词：佛跳墙、妻子饼（中文特点词汇）提醒词：一单身体毛发彩色相间的兔子正在草丛间啃胡萝卜提醒词：在绿色的丛林中，暗藏着一座白色的哥特式教堂，教堂的尖塔直指蓝色的天空，教堂四周是五彩斑斓的野花跟浅黄色的草坪（中文长文本）中国联通在国产昇腾 AI 基本软硬件平台上实现了元景文生图模子从微调练习到推理的一体化适配。在微调练习方面，用户可应用自界说数据集，实现从别的平台至昇腾的腻滑切换；在模子推理方面，接口与 Diffusers 对齐，支撑单卡跟多卡，单卡推理支撑 UNet Cache 减速。联通数据智能无限公司流露，现在，元景文生图模子已在联通表里部多个名目中胜利利用。现在，元景文生图模子已在 GitHub、Hugging Face、魔搭、始智等社区片面开源，IT之家附开源地点如下：GitHub：https://github.com/UnicomAI/UniT2IXL.gitHuggingFace：https://huggingface.co/UnicomAI/UniT2IXL魔搭：https://www.modelscope.cn/UnicomAI/UniT2IXL.git始智：https://wisemodel.cn/models/UnicomAI/UniT2IXL