Windows LLama-Factory vllm 心得

共计 186 个字符，预计需要花费 1 分钟才能阅读完成。

參考之前 配置的 LLama-Factory 後，打算自己本地運行開源模型進行微調，不過發現一點坑，簡單紀錄一下！方便事後回溯查看

如果沒有安裝 vllm 就載入模型會提示需要安裝如下

那我直接根據官方命令進行安裝

pip install -e ".[vllm]"

出現以下錯誤不支持 Windows 安裝

天真的我想說那我換個老版本安裝看看試試? 如下命令

pip install "vllm>=0.4.3,<=0.6.5" -i https://pypi.tuna.tsinghua.edu.cn/simple

結果他把我之前安裝好的 torch-cuda 版本移除並裝了 torch 2.5.1

虽然成功安装 vllm 但是无法使用 CUDA

於是我又重新安装 CUDA 版本，如下命令

pip3 uninstall torch torchvision torchaudio
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu126

这次显示如下，因为 vllm 版本关系闭支持 cuda 的 torch 库

最终我只能先放弃 vllm，目前解决方法是透过 wsl2 重新安装 llama-factory ?‍♂️