BUG:C++/CUDA extensions. xFormers was built for: PyTorch 2.1.2+cu121 with CUDA 1201 (you have 2.1.0+cpu)

环境

linux
python 3.10
torch 2.1.2+cu118
vllm 0.3.3+cu118
xformers 0.0.23.post1

详情

使用vllm启动大模型出现的错误。

原因：xformers版本和torch、cuda不匹配。我机器的cuda版本只支持到11.8，而 pip install xformers 默认安装的版本需要cuda12.1。

解决方法

安装 xformers 支持torch2.1.2，python3.10，cuda 11.8的版本

【1】访问https://anaconda.org/xformers/xformers/files， 找个对应的版本

【2】下载对应版本

windows可以直接网页下载。

linux可以通过wget下载。

wget https://anaconda.org/xformers/xformers/0.0.23.post1/download/linux-64/xformers-0.0.23.post1-py310_cu11.8.0_pyt2.1.2.tar.bz2

【3】卸载旧版本

pip uninstall xformers

【4】安装新版本

conda install xformers-0.0.23.post1-py310_cu11.8.0_pyt2.1.2.tar.bz2

【5】验证

python -m xformers.info

参考

xFormers 无法加载 CUDA_please reinstall xformers-CSDN博客