使用Llama3增强高质量图像生成

Llama 3是Meta推出的大型语言模型（LLM）。在特定条件下可以免费商用（每月最多7亿次请求）。Meta Llama 3的版本从8B到400B不等，超过了谷歌的Gemma/Gemini、Mistral和Claude 3 Sonnet等可比模型，能够在4GB GPU上高效运行。

程序员笑武

9466人浏览 · 2024-06-21 19:42:43

程序员笑武 · 2024-06-21 19:42:43 发布

导读

本文介绍：如何使用Llama 3来增加图像的生成的质量和效果？

STABLE DIFFUSION

Llama 3引发了新一波丰富用户Prompt的应用。

流行的AI生成工具，如ComfyUI和Automatic1111/Forge现在无缝集成了Llama 3。这使得提示增强变得更加容易，无需复杂的操作，这要归功于配套的插件

什么是Llama 3？

安装Ollama

Ollama 用作安装 Llama 3 的辅助工具。您可以从下面的链接下载与您的操作系统兼容的版本。

下载Ollama

在启动 Ollama 后，在终端中执行以下命令以下载 llama3_ifai_sd_prompt_mkr_q4km。它大约占用 4.9GB 的存储空间。

ollama run impactframes/llama3_ifai_sd_prompt_mkr_q4km

该模型将 Llama 3 与 5000 个高质量的稳定扩散提示结合在一起，以确保优越的提示性能和质量。

下载完成后，您可以与 Llama 3 进行对话。它专门设计用于提示。如果我向 Llama 3 输入 1girl，它将详细描述提示，并提供关于 1girl 概念的详细见解。

提示：可爱、充满活力的年轻女孩，灿烂的微笑，卷曲的棕色头发，独自站在郁绿的森林林地上，脖子上戴着鲜艳的花环，用闪亮的眼睛直视着观众，周围开满了盛开的野花，阳光透过树木洒落下来。

安装扩展

每次手动复制提示都是不切实际的，按照指南安装 ComfyUI 节点和 Automatic1111 StableDiffusionWebUI/Forge 扩展，以简化 Llama 3 的使用。

自动稳定扩散 WebUI/Forge 扩展

WebUI 和 Forge 版本共享相同的扩展和安装过程，如下所述。

导航到 Extensions > Available，然后点击 Load from，然后搜索 IF_prompt_MKR 以找到并安装它。

扩展设置

安装后，转到设置 > 未分类 > iF_prompt_MKR 并将生成提示的 API 选择设置为 Ollama。

然后在脚本部分，选择 iF_prompt_MKR。
在文本模型中，选择字符作为 iF_prompt_MKR。
选择文本模型为 impactframes/llama3_ifai_sd_prompt_mkr_q4km:latest。
您可以在输入提示字段中输入一个简单的提示。
请注意，启用扩展将使用 iF_prompt_MKR 生成的提示替换原始提示框。

在样式（可选）下，自定义和设置提示的样式。选择的样式将显示用于立即修改提示的样式。

在前缀和嵌入以及后缀和洛拉中，如果需要，选择嵌入模型和洛拉模型。尽管这些是可选的。

选择负面提示将在文本字段中显示选项。我选择了 simple_negative。

我使用 Juggernaut XL Lightning 作为检查点模型。如果不使用 Lightning 或 Turbo 模型，请调整步骤和 CFG 比例。

使用此扩展时，终端会提供提示的指南和建议供参考。

比较测试

在 iF_prompt_MKR 文本模型中，将女孩，蓝天背景作为提示输入。样式选择为史诗和摄影，负面提示为简单负面。

在没有 Llama 3 支持的情况下生成相同提示的图像。

虽然两组图像都描绘了一个女孩站在蓝天背景下，但使用 Llama 3 提示生成的图像更丰富，具有更多的细节和背景内容。Llama 3 显著增强了提示，特别是当原始提示缺乏具体性时。

ComfyUI

安装 Ollama 后，使用 ComfyUI 管理器搜索 ComfyUI-IF_AI_tools 并安装它。

然后在以下链接中下载工作流程：

使用 Llama 3 为 ComfyUI 生成提示

我配置它来比较常规提示和 Llama 3 增强提示。在 IF Prompt to Prompt 部分，我使用toy cat作为提示。

我选择了 Juggernaut XL Lightning 作为检查点模型，如果不使用 Lightning Model，则调整 steps 和 cfg。
样式装饰提示设置为 Epic，样式提示设置为 DigitalArt，负面提示设置为 simple_negative。

在 IF Display Text 中，观察 Llama 3 生成的提示与原生提示的不同之处，顶部显示 prompts，底部显示 negative prompts。

Llama 3 增强的提示结果在背景内容上更丰富和详细。

结论

与 Llama 3 一起使用的扩展极大地简化了增强提示的过程。尽管在增强后偶尔会出现偏差，但总体测试结果非常令人满意，特别是当初始提示缺乏详细的背景描述时。

Llama 3 提供的补充上下文显著增强了图像，使其成为 Stable Diffusion 提示生成武器库中不可或缺的元素。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述