淘宝电商新趋势：用 Ai 模特打造独特视觉效果，Lora 炼丹教程助你一臂之力

越来越多的淘宝电商开始使用AI模型，例如下图：

这个效果是怎么实现的呢？不得不提今天的Lora炼金教程，来自生财圈的朋友@吴东子，里面详细介绍了Lora的功能介绍、炼金方法以及实用案例，只要按照步骤操作，一定能学会。

另外，您所需要的集成包和模型都已经打包放在网盘了，您可以添加宇玩微信，回复【工具包】即可免费领取。

大家好，我叫吴冬子。我会用连我奶奶都能听懂的方式分享实用信息。

最近发现很多朋友学了Stable Diffusion之后还只是停留在“玩”的层面上，但我觉得关键还是要让大家“用”起来。

于是我思考了很久，发现了SD在“应用”层面最重要的两个功能：Lora和ControlNet。

Lora负责把和自己生活相关的人或者事提炼成模型，而ControlNet负责更好地“控制”这个“模型”。

通过将两者结合起来，你就可以真正使用 SD，无论是定制你自己的真实模型，还是为商业产品制作模型。

我自己把整个过程都搞清楚了，确保每个步骤都经过我自己的验证，然后写了个教程分享给大家。

第 1 部分

精炼萝拉可以做什么？

1.云旅游

你可以用自己的Lora拍摄各种照片，看到自己穿着各种漂亮的衣服，出现在世界各地的著名景点。

我的女朋友去埃菲尔铁塔旅行

2.人工智能模型

创建您自己的模型并让该模型穿戴您的产品。

3. 精炼衣服萝拉

通过添加服装 Lora，您可以让角色穿上特定的衣服。

（向右滑动查看）

4.改变风格

添加Lora来改变照片的风格，你可以自己训练这个风格。

（向右滑动）

那么 Lora 到底是什么？

Lora 可以复制人物和物体的特征，固定人物的动作，改变照片的风格。而且 Lora 只需要少量的数据进行训练，比训练一个大型模型要简单得多。通过训练自己的 Lora，你就可以制作出定制化的图片。

但不得不说，目前的Lora还不能做到100%的完全相同，特别是在细节方面。但相信随着技术的发展，万物皆Lora的时代已经不远了。

看看我自己训练出来的Lora的真实程度：

真正的劳拉

（向右滑动）

衣服Lora

（向右滑动）

第 2 部分

制作 Lora 的 4 个步骤

精炼lora的方法有很多，有使用脚本进行训练，也有在网站界面进行训练，最近有很多朋友制作了训练lora的集成包。

训练逻辑是一样的，所以就选择集成包吧，将炼金术所需要的所有工具都集成到一个软件中。

炼金术分为以下几个步骤：

1.下载集成包

2.准备材料

3. 测试 Lora

4.优化Lora

接下来我就用我女朋友的照片来制作一个Lora，并详细展示一下具体的操作。

第 3 部分

炼金前的准备

在练习Lora之前，你需要确认你的电脑配置：

❖

1.需要N卡及6G以上显存

❖

2. 对于有A卡和Mac系统，或者电脑配置不好的用户，建议使用云平台

现在我们来谈谈如何使用云平台以及本地安装集成包

1. A卡和Mac系统的好消息，云平台炼金术

这里使用的云平台是青教云，下面的内容没有任何广告，如果你有其他更好的方法，也可以分享给大家。

在这个平台上，相当于远程控制别人配置更好的电脑。

复制链接注册账号并下载青教云：

下载完成后，登录账号，选择《华南4》，然后点击“添加云桌面”

首先选择“定制产品”，找到“赛博丹炉”，点击右侧“立即添加”；2.5元/小时，一般新注册用户都会有优惠券，可以免费试用几个小时。

这时会出现一个选项框，点击“开始”。

进入云桌面之后，双击“电子炼丹炉”图标，就可以开始炼制丹药了。

训练结束后，首页上方有下拉按钮，点击“断开连接”即可退出云桌面。

退出后记得关闭云平台，否则会继续收费。

2.将集成包下载到本地，解压即可使用

对于电脑配置好的，建议将集成包下载到本地（云平台会稍微有点卡）。

我在用的是B站up主朱泥疆的集成包，也试过秋野的集成包精炼Lora，两者对比之后我觉得朱泥疆的集成包更适合新手使用。

大家可以从我分享的网盘链接中下载集成包（链接在文章末尾，可添加宇玩微信领取）。

切记下载后解压到D盘或者E盘，而不是C盘！！

打开解压后的文件夹，在“cfurnace_ui”文件夹中找到“Cyber​​ Furnace”应用程序，双击打开并创建桌面快捷方式，这样就不用每次都打开文件夹去找了。

当你看到这个页面就说明安装成功了，点击“打开炼金炉”就可以开始炼制萝拉啦！

第 4 部分

选择合适的大模型

和画图一样，炼制萝拉前需要先选定一个大模型，确定萝拉的画风，点击直接打开文件夹，找到SD文件夹，调用里面的模型即可。

这里我要做真人模型，所以选择“chilloutmix”的大模型，如果要做二维模型，可以选择“anything”

如果你的Stable Diffusion中没有该模型，需要先下载该模型！这两个大模型已经放到网盘里给大家了。

第二个框是输入这个Lora的名字，右边的“Sample Preview”可以开启，这样我们在训练Lora的过程中就可以实时看到照片了。

然后就可以选择想要训练的Lora类型了，参数选择默认即可，如果要训练真实的Lora就选择“Character”，如果要训练2D的Lora就选择“2D”。

如果您想完善绘画风格，您可以选择绘画风格。此外，您还可以自定义它以完善图形设计或建筑。

第 5 部分

生产优质材料

设置好参数后，就可以上传照片素材了，这些素材会作为AI学习的素材。

材质的好坏很重要！！直接影响最终Lora的质量。材质需要满足几点：

❖

1. 上传20~30张照片

❖

2.素材一定要高清！！！

❖

3. 多角度照片

这里我以连真人Lora为例，上传真人照片：

❖

1.点击“全部删除”删除默认素材

❖

2. 点击“上传素材”，上传自己的照片

一般情况下，以下参数均设置为默认值。

❖

不要选择太高的分辨率，因为这可能会导致视频内存爆发。

❖

此外，如果你正在训练一只真正的Lora，你可以查看最右边的“面部增强训练”。

❖

勾选此选项后，一组只有脸部的照片将被裁剪掉，以便AI可以了解更多面部细节。

然后点击“预处理”。

经过处理后，训练集中会有两组素材：一组是原始素材；另一组是只有人脸的裁剪素材。

人脸素材中会有一些识别不准确的照片，点击照片右下角的图标即可删除。

然后看到“TAG编辑”：这里是一些描述照片的标签；右边是所有照片的标签；点击一张照片可以查看这张照片的标签。

这里需要粗略的检查一下照片，手动删除或者添加标签，如果标签和照片不匹配，AI就会学习错误。

例如这张照片的标签中的“夹克”和“白色衬衫”是错误的。请检查这两个标签，点击“删除”，然后添加新的“粉色衬衫”。

关于标签还有一点你必须知道：如果你想保留某人的某个特征，你就必须删除对应的标签，这样AI才会认为这个人有这个特征，如果你想灵活调整某个特征，就需要给这个特征贴上标签。

举个例子：如果我想训练动漫人物Lora，粉红色的头发和绿色的眼睛是这个角色的特征。

如果以后想在SD中保留这个动漫角色的特征，就把粉色头发和绿色眼睛的标签删除。这样，无论你输入的关键词是白发还是黑发，结果都是粉色头发。

如果你想在 SD 中自定义头发颜色，你应该将其标记为“粉红色头发”：

好了，回到正题，等所有标签都处理完之后，就可以点击右下角开始训练了。

第 6 部分

耐心等待训练过程

看到这个页面表示模型正在训练中。此时，只需耐心等待，无需执行其他操作。

你可以看一下下面的参数代表什么意思，“Steps”是训练步数，每训练50步，右下角就会出现一张图片。

这样就能实时看到萝拉的长相了，白色的头发和红色的裙子是背景中添加的关键词，可以测试一下萝拉的泛化能力：

泛化能力指的是Lora能不能自由的改变照片里的事物，比如发型，发色，衣服等等。

Loss 可以用来衡量模型的好坏，一个好的模型 Loss 值在 0.07 到 0.09 之间，具体模型的好坏还是要在 Stable Diffusion 中实际测试才知道。

训练完成后，点击“模型”就可以看到生成的模型，按照默认参数训练会生成10个模型，但不代表最后的模型就是最好的。

训练第六个或第七个模型可能就足够了，之后的模型已经过度训练，所以这些模型仍然需要在 SD 中进行实际测试才能知道哪一个是最好的。

第 7 部分

如何测试Lora的质量

模型生成之后，就可以在Stable Diffusion（简称SD）中生成图像了，在SD中可以像这样生成一张大图，可以直接看到所有模型在不同权重下的效果。

比较哪个模型更好并且只保留该模型。

接下来我们看看这张大图怎么生成，首先把刚刚生成的10个模型复制到SD的models文件夹下，然后放到lora文件夹下，可以在lora文件夹下新建一个文件夹来存放。

然后把没有序列号代码的lora重新命名一下，没有序列号代码的lora是最后生成的型号，为了方便测试，统一所有型号的名字。

保存模型后，可以打开 SD 进行测试。首先，选择一个大模型。选择你用来训练 Lora 的大模型。

然后输入肯定关键词和否定关键词，肯定关键词可以输入一些品质词，比如最高品质、高清品质、大师杰作等。

我们只需复制之前使用过的否定关键词即可。

接下来就是选择我们刚刚提炼的Lora，你可以选择任意一个。

选择Lora之后，我们会在关键字文本框中看到Lora的号码。

然后将“000006”的值改为“NUM”，将最后一个数字“1”改为“STRENGTH”，代表重量。

您可以根据自己的习惯修改迭代步长、采样方式等参数。

然后滚动到底部并找到“脚本”，在脚本中选择“X/Y/Z 图表”，并为 X 轴和 Y 轴类型选择“提示词搜索/替换”。

❖

X轴数值输入：

编号,000001,000002,000003,000004,000005,000006,

000007,000008,000009,000010

这里的序列号对应我们的10个Lora的编号

❖

Y轴数值输入：

强度,0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9,1

这里的序列号代表了Lora的重量

所有参数设置好之后就可以点击“Generate”了，结果会是这样的一张大图，可以看到10个Lora在不同强度下的表现。

在这些图片中找出最像你，并且效果最好的一张，你就会知道哪种Lora在什么强度下效果最好。

例如，我可能会选择第七个 Lora，权重为 0.7：

接下来我们可以测试一下Lora的泛化能力，在关键词中输入一些照片里没有的东西。

比如原图是黑头发，那么在关键词中输入白头发；原图是粉色衣服，那么可以改成黑色衣服。

点击“生成”，看看生成的照片，头发一半白一半黑，衣服也是黑色的，我觉得这个Lora够格了。

我们来看看真人与AI的对比：

（向右滑动查看）

第 8 部分

如何优化Lora

其实炼金是一个比较玄学的东西，有些人可能一次就能炼制出自己满意的萝拉，但有些人可能要炼制好几次才能得到好的萝拉。

这时候就可以调整训练参数，再进行细化，前提是保证喂给AI的素材是优质的，否则无论你怎么修改参数，做出来的Lora都是不合格的。

炼制Lora时遇到的问题可以分为两种情况：

❖

1. Lora 拍的照片看起来不像你：AI 学得不好

❖

2. Lora 过度拟合，甚至它拍出的照片都是坏的：AI 学了太多东西

过拟合就是不管你输入什么关键词，出来的照片都是你喂给AI的照片，而且你不能自由控制角色的服饰、发型、发色等，点击“参数调优”可以自己设置参数。

如果生成的照片看起来不太像人，可以适当增加Repeat（学习步数）的值，如果照片过拟合，可以减小Repeat的值，其他参数不用调整，默认参数几乎就是最优值。

第九部分

训练服 Lora

除了训练角色萝拉之外，还可以训练道具萝拉，具体操作方法其实和训练角色是一样的。

这里我就随便在淘宝上挑了一套衣服，就把这套衣服改成了Lora。

SD生成的照片无法做到完全一模一样，但可以大致还原，后期需要用PS进行修饰。

（向右滑动查看）