stable diffusion的微调和lora微调代码版本

2023-09-15 17:46:38

目前业界主流的sd训练基本都是基于diffusers和ldm的,这是huggingface的训练库,后者是stability ai在compvis等机构的基础上完善的,我目前工作上推理一般采用webui架构,训练采用diffusers,因此需要把webui的ckpt或者safetensors转成huggingface形式,在基于diffusers的lora训练,很多都是基于kohya_ss的,一般就是添加一些新的lora方法,另一种就是基于kohya_ss封装套个壳,方便训练。目前主流看来,还是关注diffusers官方的训练脚本,整个流程比较简洁,对比其他三方的脚本。

safetensors版本->convert->huggingface版本

huggingface版本->diffusers训练->huggingface版本lora权重bin文件->convert->safetensors

1.diffusers版本

GitHub - huggingface/diffusers: 🤗 Diffusers: State-of-the-art diffusion models for image and audio generation in PyTorch

这个版本是我训练的主要版本,基本上很多的sd训练都是在这个版本上改的,我也是以这个版本为基础,基本的fine-tune和lora finetune都有,训练的版本也比较丰富,包括unet和text encoder的训练等等,但是这里面有个文生图和图生图的区分,即inpaint的训练是否需要抽出来单独写,我看dreambooth是单独抽出来的版本,其他text_to_image目前没有提供inpaint的lora训练。

1.1 txt2img+lora

1.1 img2img_inpaint+lora ?

2.kohya-ss版本,也是很流行的lora训练脚本

GitHub - kohya-ss/sd-scripts

基于diffusers做了二次封装,提供了不少工具和不同类别的lora,不过也没有提供inpaint模型的训练,issues中有人提了,作者说后续会考虑跟进,这个版本的模型可以直接是webui形式,不需要先转成huggingface格式。

https://github.com/kohya-ss/sd-scripts/issues/502

3.lora

GitHub - cloneofsimo/lora: Using Low-rank adaptation to quickly fine-tune diffusion models.

这个版本支持inpaint版本,也是基于diffusers做二次封装

4.lora-scripts

https://github.com/Akegarasu/lora-scripts

秋叶,继承自sd-scripts,做了封装,有了webui。

5.LyCORIS

https://github.com/KohakuBlueleaf/LyCORIS

支持各种各样的lora,而且有专门的lora加载器,可以添加到kohya版本中,训练方法可以嵌入在

GitHub - derrian-distro/LoRA_Easy_Training_Scripts: A UI made in Pyside6 to make training LoRA/LoCon and other LoRA type models in sd-scripts easy

GitHub - Linaqruf/kohya-trainer: Adapted from https://note.com/kohya_ss/n/nbf7ce8d80f29 for easier cloning

GitHub - bmaltais/kohya_ss 

更多推荐

数据分享|R语言分析上海空气质量指数数据:kmean聚类、层次聚类、时间序列分析:arima模型、指数平滑法...

全文链接:http://tecdat.cn/?p=30131最近我们被客户要求撰写关于上海空气质量指数的研究报告。本文向大家介绍R语言对上海PM2.5等空气质量数据(查看文末了解数据免费获取方式)间的相关分析和预测分析,主要内容包括其使用实例,具有一定的参考价值,需要的朋友可以参考一下(点击文末“阅读原文”获取完整代码

K8s的网络——Underlay和Overlay网络

0.基础知识1)网络7层基础知识在网络7层协议基础里,第一层物理链路;第二层是数据链路层,在第一层的基础上引入MAC地址做数据转发。MAC地址在局域网内具有唯一性,主机A发送数据时,会向局域网内进行广播,每个主机根据mac地址自动匹配。网桥、交换机都是工作在数据链路层。由MAC地址构建的网络可以叫以太网。在网络中接入设

K8S入门前奏之VMware虚拟机网络配置

为了能在本地搭建K8S的运行服务器,在个人电脑上安装了虚拟机VMware16版本,并且在阿里巴巴开源镜像站下载了CentOS-7操作系统:阿里巴巴开源镜像站做完一些列准备工作后,在虚拟机安装完CentOS-7操作系统后,需要对VMware虚拟机网络进行配置,让其满足我们搭建K8S的要求。查看物理机ip信息命令:ipco

HTML中的<canvas>元素

聚沙成塔·每天进步一点点⭐专栏简介⭐canvas元素⭐用途⭐示例⭐写在最后⭐专栏简介前端入门之旅:探索Web开发的奇妙世界欢迎来到前端入门之旅!感兴趣的可以订阅本专栏哦!这个专栏是为那些对Web开发感兴趣、刚刚踏入前端领域的朋友们量身打造的。无论你是完全的新手还是有一些基础的开发者,这里都将为你提供一个系统而又亲切的学

电脑怎么取消磁盘分区?

有时候,我们的电脑会出现一个磁盘爆满,但另一个却空着,这时我们可以通过取消磁盘分区来进行调整,那么,这该怎么操作呢?下面我们就来了解一下。磁盘管理取消磁盘分区磁盘管理是Windows自带的磁盘管理工具,它位于"计算机管理"控制台中。它包括查错程序和磁盘碎片整理程序以及磁盘整理程序。它可以帮助你完成扩大分区、压缩分区、删

Redis核心原理与应用实操

一、基本概念1、noSQL关系数据库MySQL的IO操作慢!noSQL为内存操作快、高并发。2、Redis基本概念存储形式:K-V键值对优点:对数据高并发读写(直接在内存中操作)单线程操作(所谓的多线程只是多个命令队伍排队CPU处理时仍然是单线程)Redis-----提供缓存服务!!!!Redis定位是缓存,提高数据读

使用JavaScript实现图片的自动轮播

介绍在网站开发中,经常会遇到需要展示多张图片并自动切换的需求,这就需要使用JavaScript来实现图片的自动轮播功能。本文将通过一个简单的例子,演示如何用JavaScript实现图片的自动轮播。实现步骤:HTML结构:首先,创建一个包含图片列表的HTML结构,每个图片都用一个标签表示,并设置一个唯一的id,以便后续操

云原生:构建现代化应用的新篇章

云原生:构建现代化应用的新篇章随着技术的快速发展,我们进入了一个全新的数字化时代。在这个时代,云原生作为一种新兴的技术趋势,正逐渐改变着我们对构建现代化应用的认识。云原生是容器、微服务、DevOps、持续交付等技术的集合,它提供了一种在云环境中构建和运行应用的新方式。本文将深入探讨云原生的技术原理、核心优势以及应用场景

Docker从认识到实践再到底层原理(六-2)|Docker容器操作实例

前言那么这里博主先安利一些干货满满的专栏了!首先是博主的高质量博客的汇总,这个专栏里面的博客,都是博主最最用心写的一部分,干货满满,希望对大家有帮助。高质量博客汇总然后就是博主最近最花时间的一个专栏《Docker从认识到实践再到底层原理》希望大家多多关注!Docker从认识到实践再到底层原理容器的操作案例容器的基本操作

家政小程序开发制作,家政保洁上门维修小程序搭建

家政小程序开发制作,现如今家政上门服务,也越来越普及到我们的生活中,比如家电清洗,水电维修,家政保洁,上门护理等等方面。那么一个合格的家政小程序,需要满足哪些功能呢?今天就带大家一起详细了解一下。第一:邀请师傅入驻小程序:-创建一个师傅入驻的功能,允许师傅填写相关信息并提交申请。﹣设计审核流程,对师傅的资质和信誉进行验

家政小程序源码家政预约小程序独立版,家政上门预约,功能强大

家政服务行业作为一个相对传统的行业,随着互联网的发展迅速,和用户群体的改变,家政服务公司也需要改变一下经营思路了,否则未来很难满足新一代用户群体的个性化需求。核心功能:1、师傅(服务人员)入驻:家政保洁人员可以随时随地在微信小程序上面申请入驻,上传自己的资料,给平台审核。2、顾客下单预约:小区业主可以随时随地在微信小程

热文推荐