本地搭建大模型環境配置教學

212次閱讀
尚無留言

共计 646 个字符,预计需要花费 2 分钟才能阅读完成。

簡單記錄一下人在大陸要如何絲滑配置本地大模型開發環境,畢竟很多境外網站都要掛代理才能訪問,特別是拉取 Python 包,雖然有清華鏡像源,但配置 Cuda 這部分還是有點技巧的。

配置 CUDA

首先打開命令窗口後輸入以下命令查看 CUDA 版本,

ndvia-smi
nvcc --version

如下圖

本地搭建大模型環境配置教學

如果你沒安裝應該是空的,請自己到 Nvdia 網站 下載安裝

配置 Torch

PyTorch 網站 根據版本選擇對應的命令

本地搭建大模型環境配置教學

如果默認不選擇,都是直接使用 CPU,運行 AI 環境 CPU 跑起來會很多問題,甚至無法運行,所以建議使用 CUDA

這個時候打開 PyCharm 或者任何命令窗口,如下圖執行安裝命令,你會發現真的很慢!

本地搭建大模型環境配置教學

這時候把網址複製出來打開迅雷,直接滿速下載!差距 10 倍啊?‍♂️

本地搭建大模型環境配置教學

下載完成後改從本地 whl 包中獲取依賴包,如下命令

本地搭建大模型環境配置教學

最後進入 Python 窗口確認是否配置成功,如下圖

import torch
print(torch.cuda.is_available())
print(torch.__version__)

本地搭建大模型環境配置教學

順帶一提測試之前記得先 import torch
正文完
 0
評論(尚無留言)

夜升筆談

夜升筆談
夜升筆談
視寫代碼為信仰,奉高效能為執著,成為大牛不是一蹴可幾,但只要秉持信念終究能成,我依舊在這條路上不斷前進。
最新评论
Yosheng Yosheng 我是买梯子了 只是理解一下原理而已
虚拟信用卡 虚拟信用卡 还是直接买梯子吧,太浪费时间了
spring spring 学习了
cskepper cskepper 非常有用,已经顺利解决
cskepper cskepper 非常有用,已经顺利解决
Yosheng Yosheng 這可能是代理服務器的問題了...
淑淑 淑淑 我在大陸使用了VPN 照著你說的操作 但是出現無法透過代理伺服器連線 我的電腦是W7 也下載了兼容版 用了大概一個星期後今天LINE就無法使用VPN了 這種要怎樣解決
Yosheng Yosheng 如果不能直接撥放建議直接下載回來播放,後面我就沒去折騰為什麼不能線上播放了
SADFISH SADFISH 我无法播放语音是为什么呀楼主
Yosheng Yosheng 微信号 yosheng0323