安装指南：LLaMA Factory、AutoGPTQ 和 vllm

25-03-07 21:01

12621

blog.csdn.net

id="article_content" class="article_content clearfix"> id="content_views" class="htmledit_views">

安装指南：LLaMA Factory、AutoGPTQ 和 vllm

在本文中，我们将详细介绍如何安装 LLaMA Factory、AutoGPTQ 和 vllm，这些工具在大型语言模型（LLMs）和视觉语言模型（VLMs）的微调和量化中非常有用。我们将逐步指导你完成整个安装过程，确保你能够顺利开始使用这些强大的工具。

1. 安装 LLaMA Factory

LLaMA Factory 是一个统一高效的微调框架，支持 100 多种大型语言模型和视觉语言模型。以下是安装 LLaMA Factory 的步骤：

步骤 1：克隆 LLaMA Factory 仓库

打开终端或命令提示符，运行以下命令：

bash复制

 class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="1">

class="hljs-ln-code"> class="hljs-ln-line">git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git

class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="2">

class="hljs-ln-code"> class="hljs-ln-line">cd LLaMA-Factory class="hljs-button signin active" data-title="登录复制" data-report-click="{"spm":"1001.2101.3001.4334"}" onclick="hljs.signin(event)">

步骤 2：安装依赖

使用以下命令安装 LLaMA Factory 的依赖：

bash复制

pip install -e ".[torch,metrics]" class="hljs-button signin active" data-title="登录复制" data-report-click="{"spm":"1001.2101.3001.4334"}" onclick="hljs.signin(event)">

这将安装 PyTorch 和评估指标相关的依赖。如果你需要其他额外的依赖，可以使用以下命令：

bash复制

pip install -e ".[torch,metrics,deepspeed,liger-kernel,bitsandbytes]" class="hljs-button signin active" data-title="登录复制" data-report-click="{"spm":"1001.2101.3001.4334"}" onclick="hljs.signin(event)">

2. 安装 AutoGPTQ

AutoGPTQ 是一个基于 GPTQ 算法的易于使用的 LLM 量化包。以下是安装 AutoGPTQ 的步骤：

步骤 1：克隆 AutoGPTQ 仓库

打开终端或命令提示符，运行以下命令：

bash复制

 class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="1"> class="hljs-ln-code"> class="hljs-ln-line">git clone https://github.com/PanQiWei/AutoGPTQ.git
 class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="2"> class="hljs-ln-code"> class="hljs-ln-line">cd AutoGPTQ class="hljs-button signin active" data-title="登录复制" data-report-click="{"spm":"1001.2101.3001.4334"}" onclick="hljs.signin(event)">

步骤 2：安装依赖

使用以下命令安装 AutoGPTQ 的依赖：

bash复制

pip install . class="hljs-button signin active" data-title="登录复制" data-report-click="{"spm":"1001.2101.3001.4334"}" onclick="hljs.signin(event)">

如果你需要使用 Triton 后端，可以使用以下命令：

bash复制

pip install auto-gptq[triton] --no-build-isolation class="hljs-button signin active" data-title="登录复制" data-report-click="{"spm":"1001.2101.3001.4334"}" onclick="hljs.signin(event)">

注意事项

CUDA 支持：确保你的系统支持 CUDA，并且安装了适当的 CUDA 版本。
ROCm 支持：如果你使用的是 AMD GPU，可以设置 ROCM_VERSION 环境变量来安装 ROCm 支持。
Intel® Gaudi® 2 支持：如果你使用的是 Intel Gaudi 2 HPUs，需要设置 BUILD_CUDA_EXT=0 环境变量。

3. 安装 vllm

vllm 是一个用于高效推理的库，支持多种量化方法。以下是安装 vllm 的步骤：

步骤 1：安装 vllm

使用以下命令安装 vllm：

bash复制

pip install "vllm>=0.4.3,<=0.6.5" -i https://pypi.tuna.tsinghua.edu.cn/simple class="hljs-button signin active" data-title="登录复制" data-report-click="{"spm":"1001.2101.3001.4334"}" onclick="hljs.signin(event)">

这个命令会从清华大学的镜像源安装 vllm，确保下载速度更快。

步骤 2：验证安装

安装完成后，可以使用以下命令验证 vllm 是否安装成功：

bash复制

pip show vllm class="hljs-button signin active" data-title="登录复制" data-report-click="{"spm":"1001.2101.3001.4334"}" onclick="hljs.signin(event)">

4. 常见问题及解决方案

问题 1：依赖冲突

如果你遇到依赖冲突问题，可以尝试以下命令：

bash复制

pip install --no-deps -e . class="hljs-button signin active" data-title="登录复制" data-report-click="{"spm":"1001.2101.3001.4334"}" onclick="hljs.signin(event)">

问题 2：CUDA 版本不兼容

确保你的 CUDA 版本与 vllm 和 AutoGPTQ 的要求一致。如果版本不兼容，可以尝试安装不同版本的 CUDA 或者使用其他镜像源。

问题 3：安装失败

如果安装失败，可以尝试以下步骤：

清理缓存：

bash复制

pip cache purge class="hljs-button signin active" data-title="登录复制" data-report-click="{"spm":"1001.2101.3001.4334"}" onclick="hljs.signin(event)">

重新安装：

bash复制

 class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="1"> class="hljs-ln-code"> class="hljs-ln-line">pip install --upgrade pip
 class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="2"> class="hljs-ln-code"> class="hljs-ln-line">pip install "vllm>=0.4.3,<=0.6.5" -i https://pypi.tuna.tsinghua.edu.cn/simple class="hljs-button signin active" data-title="登录复制" data-report-click="{"spm":"1001.2101.3001.4334"}" onclick="hljs.signin(event)">

5. 结论

通过以上步骤，你应该能够成功安装 LLaMA Factory、AutoGPTQ 和 vllm。这些工具将帮助你在大型语言模型和视觉语言模型的微调和量化方面取得更好的效果。如果你在安装过程中遇到任何问题，可以参考官方文档或在相关社区寻求帮助。

希望本文对你有所帮助！如果有任何问题或建议，欢迎随时提出。

注：本文转载自blog.csdn.net的从零开始学习人工智能的文章"https://blog.csdn.net/weixin_41544125/article/details/145192126"。版权归原作者所有，此博客不拥有其著作权，亦不承担相应法律责任。如有侵权，请联系我们删除。

复制链接

发表评论

/ 登录

评论记录：

未查询到任何数据！