阿里巴巴通义实验室开源AI图像生成微调框架SCEdit
摘要: SCEdit是一个高效的生成式微调框架，由阿里巴巴通义实验室基础视觉智能团队提出。该框架可以用于图像生成任务......
|
SCEdit 是一个高效的生成式微调框架，由阿里巴巴通义实验室基础视觉智能团队提出。该框架可以用于图像生成任务的微调，并支持快速迁移到特定的生成场景中。相比于其他方法，SCEdit 能够节省30%-50% 的训练显存开销。 该框架的核心思想是利用 U-Net 中的跳跃连接进行编辑，通过调整跳跃连接上的中间特征来实现高效的微调。SCEdit 还引入了名为 SC-Tuner 的轻量级微调模块，可以在编码器和解码器之间聚合远距离信息，从而提升图像生成的内容和质量。 微信截图_20240105085116.png 除了支持文生图下游任务的微调，SCEdit 还可以直接扩展到可控图像生成任务中。通过注入不同的条件，如边缘图、深度图、分割图、姿态、颜色图等，可以实现对生成结果的精准控制。而且，仅需使用 ControlNet 条件生成7.9% 的参数量，并节省30% 的显存开销。 SCEdit 在文生图和可控图像生成任务上进行了广泛实验，结果表明该方法在效率和性能方面具有优势。在文本到图像生成任务中，SCEdit 的 FID 得分和质量结果优于现有方法，并在训练阶段减少了52% 的内存消耗。在可控生成任务中，SCEdit 可以实现对生成结果的精准控白沟河加工网 白沟河网放加工 白沟河网接加工 白沟河网放加工 上海画册印刷制，并节省30% 的内存使用。 
|
 鲜花 |
 握手 |
 雷人 |
 路过 |
 鸡蛋 |
