LLaMA Factory 是一个简单易用且高效的大型语言模型(Large Language Model)训练与微调平台。通过 LLaMA Factory,可以在无需编写任何代码的前提下,在本地完成上百种预训练模型的微调训练。

一、下载代码

请在控制台下面执行下面的命令

# 克隆仓库到本地的 LLaMA-Factory 目录,使用 --depth 1 参数仅获取最新的一次提交,减少下载量, 命令如下:
git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git LLaMA-Factory
# 注:如果您的网络环境不好,可以使用国内镜像仓库,命令如下
# git clone --depth 1 https://gitee.com/hiyouga/LLaMA-Factory.git LLaMA-Factory
# 获取 release 版本 v0.9.2 的代码,命令如下:
cd LLaMA-Factory
git fetch --tags
git checkout v0.9.2
# 查看当前版本,命令如下:
#git describe --tags
cd ..

二、安装环境

1、安装 docker 和 docker-compose

略(注:安装完成后请执行 docker -vdocker-compose -v 验证是否安装成功)

三、制作镜像

请在控制台下面执行下面的命令

# 执行下面的命令,根据您的环境选择不同的镜像制作方法
# 使用 cuda(英伟达) 微调训练的镜像制作方法
docker-compose -f "LLaMA-Factory/docker/docker-cuda/docker-compose.yml" up --build
# 使用 npu(昇腾) 微调训练的镜像制作方法
# docker-compose -f "LLaMA-Factory/docker/docker-npu/docker-compose.yml" up --build
# 使用 ROCm(AMD) 微调训练的镜像制作方法
# docker-compose -f "LLaMA-Factory/docker/docker-rocm/docker-compose.yml" up --build

注:制作镜像完成后,您可以在控制台下面执行 docker images 命令查看是否有 docker-*-llamafactory:latest 镜像,如果有则说明制作成功。

四、创建容器

请在控制台下面执行下面的命令

# 执行下面的命令,根据您的环境选择不同的容器创建方法
# 使用 cuda(英伟达) 微调训练的容器创建方法
docker-compose -f "LLaMA-Factory/docker/docker-cuda/docker-compose.yml" up -d
# 使用 npu(昇腾) 微调训练的容器创建方法
# docker-compose -f "LLaMA-Factory/docker/docker-npu/docker-compose.yml" up -d
# 使用 ROCm(AMD) 微调训练的容器创建方法
# docker-compose -f "LLaMA-Factory/docker/docker-rocm/docker-compose.yml" up -d

注:创建容器完成后,您可以在控制台下面执行 docker ps 命令查看是否有 llamafactory 容器,如果有则说明制作成功。

五、启动WEB服务

请在控制台下面执行下面的命令,进入容器 llamafactory 内部:

docker exec -it llamafactory /bin/bash

在容器 llamafactory 内部执行下面的命令:

# 给如下目录赋予权限
chmod -R 777 /app/data
# 启动web服务,命令如下:
nohup llamafactory-cli webui > /app/webui.log 2>&1 &

六、访问WEB服务

请在浏览器中访问 http://localhost:7860/ ,即可访问WEB服务。

七、总结

本文详细介绍了基于 Docker 的 LLaMA-Factory 全流程部署指南。首先,通过 Git 克隆仓库并获取指定版本代码;其次,安装 Docker 和 Docker Compose 环境;随后,根据硬件环境(CUDA、NPU、ROCm)选择相应镜像制作方法;接着,创建并启动容器;最后,在容器内启动 WEB 服务并通过浏览器访问。该指南提供了完整的部署流程,适用于不同硬件环境下的 LLaMA-Factory 部署需求。

Logo

有“AI”的1024 = 2048,欢迎大家加入2048 AI社区

更多推荐