引言:為了方便后續新進組的 師弟/師妹 使用課題組的服務器,特此編文(ps:我導從教至今四年,還未招師妹)
? NLP 研 2 選手的學習筆記
筆者簡介:Wang Linyong,NPU,2023級,計算機技術
研究方向:文本生成、大語言模型
文章目錄
- 1 寫在前面
- 2 管理員分配并登錄賬號
- 3 配置Anaconda環境
- 4 使用Anaconda的簡易教程
- 5 使用Anaconda的進階教程
- 6 安裝Pytoch庫
- 7 參考資料
- 8 補充說明
1 寫在前面
● 我使用的深度學習的 硬件環境 如下:
項 | 版本 |
---|---|
CUDA | 12.2 (通過 “nvcc -V” 查看) |
顯卡 | 3 張 NVIDIA RTX A6000(每一張48 GB顯存) |
Ubuntu | 20.04(通過 “lsb_release -a” 查看) |
驅動 | 550.100(通過 “nvidia-smi” 查看) |
CPU | X86_64 Intel? Xeon? Gold 6430(通過 “nvcc -V” 查看) |
內存 | 256GB(通過 “free -h 查看) |
2 管理員分配并登錄賬號
● 新增用戶
sudo useradd -r -m -s /bin/bash username # username是用戶名稱
● 例如,給 “西工大(xgd)” 建一個用戶賬號:
sudo useradd -r -m -s /bin/bash xgd
● 設置密碼
sudo passwd username # username是用戶名稱
● 例如,給 “西工大(xgd)” 用戶賬號設置密碼:
sudo passwd xgd
● 比如,這是 我(wly) 作為管理員,正在給 師弟(awb) 申請一個賬號并設置了密碼:
● 當我退出我的賬號(wly),再登他的賬號(awb),其演示界面即如下:
3 配置Anaconda環境
● 【第一步:下載Anaconda】先到 Anaconda官網,根據自己 Linux 環境架構選擇相應的 Anaconda 的文件下載。因為我的架構是 x86_64
就選擇這個版本進行下載:
wget https://repo.anaconda.com/archive/Anaconda3-2024.10-1-Linux-x86_64.sh
● 等個幾分鐘就能下好了:
● 下載好后,通過 ls -l
命令我們可以發現,Anaconda3-2024.10-1-Linux-x86_64.sh
文件沒有執行權限,我們需要通過以下命令加一下 “可執行權限”:
chmod +x Anaconda3-2024.10-1-Linux-x86_64.sh
● 【第二步:安裝Anaconda】接著,我們直接輸入以下命令,開始安裝:
./Anaconda3-2024.10-1-Linux-x86_64.sh
● 出現以下界面時,直接按 回車
即可:
● 出現以下界面時,一直按住 回車
即可:
● 直到出現以下界面時,輸入 yes
即可:
● 出現以下界面時,再按一個 回車
即可:
● 靜靜等待安裝完成,很快的:
● 這里我測試過,輸入 yes
或者 no
都可以(ps: 我推薦選 no
,這里做一個標記 ??,后文會提到):
選項 | 含義 |
---|---|
yes | 每當你打開一個新的終端,Conda 的 base 環境會自動被激活 |
no | 每次你想要使用 Conda 環境(包括base環境),都需要手動使用 conda activate <環境名稱> |
● 【第三步:配置Anaconda的環境變量】現在我們還差最后一步,配置環境變量,需要輸入以下命令將 awb
用戶的 anaconda
路徑加進 .bashrc
文件中(注意你需要將下面 linux 命令中的 awb
換成你自己的“賬戶名”):
echo 'export PATH="/home/awb/anaconda3/bin:$PATH"' >> ~/.bashrc
● 然后再輸入以下命令,使得修改后的 .bashrc
文件在當前會話中生效:
source ~/.bashrc
● 運行結果如下:
補充說明:你可能輸入
source ~/.bashrc
后,下一行并沒有 “(base)” 這個標識符,這是因為我在前文的 “??” 處選的是yes
,所以它自動激活了base
環境,如果你想取消自動激活
的功能,輸入以下命令即可:conda config --set auto_activate_base false
4 使用Anaconda的簡易教程
● 可以使用以下命令激活最原始的 base
環境:
conda activate base
● 運行結果如下:
● 如果你報錯了,可以使用以下命令激活(效果一樣的):
source actiavte base
● 運行結果如下:
● 在進入 base
環境后,你就可以通過 conda list
列出當前環境中通過 Conda 安裝的所有軟件包及其版本;你也可以通過 pip list
列出當前環境中通過 pip 安裝的所有軟件包及其版本,演示如下:
● 最后補一句,如果比起用 source
,你更喜歡用 conda
來激活環境,大概率可以用以下命令來生效(ps:注意,我用的詞是“大概率”,因為我還沒親手處理過這種問題):
conda init
備注:執行完該命令后,需要關閉當前終端窗口,重新打開一個新的終端窗口,再嘗試使用
conda activate base
命令
5 使用Anaconda的進階教程
● 當我們要創建一個名字為 “my_master” 的新環境時,我們可以用以下命令來創建:
conda create --name my_master python=3.10
備注:其中
python=3.10
表示下載的python
版本是3.10
的
● 運行后當出現以下界面,直接輸入 yes
或者 y
即可:
● 安裝好后,我們可以通過以下命令來查看我們的 Conda 目前安裝了哪些環境:
conda env list
● 然后當我們進入這個環境,通過輸入 conda list
和 pip list
命令,可以看到,里面只有 python 和一些必要的庫,可謂是相當的 “干凈” ~
● 如果這個環境你不想用了,也可以通過以下命令刪掉(示例如下):
conda env remove --name 環境名
6 安裝Pytoch庫
● 對于學習 “深度學習” 的我們,一般都繞不開 “Pytorch” 這個庫,然后如果直接下載會很慢(因為資源在外網),但我們可以配置一些鏡像源,來加快速度(推薦從下面三個選一個就行):
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple # 將清華源設置為全局的 pip 鏡像源
pip config set global.index-url https://mirrors.ustc.edu.cn/pypi/web/simple # 將中科大源設置為全局的 pip 鏡像源
pip config set global.index-url https://pypi.doubanio.com/simple # 將豆瓣源設置為全局的 pip 鏡像源
備注:若你使用了
pip config set
命令設置了鏡像源,可使用pip config unset
命令來移除已設置的 index-url 配置,從而恢復默認設置。
● 然后來到 Pytorch 官網,選擇適合你的 CUDA
版本的 pytoch 即可。
注意:我們應該選擇與
nvcc --version
對應的CUDA
版本 匹配或者向下兼容 的 Pytorch。原因可參閱博客《【CUDA】nvcc和nvidia-smi顯示的版本不一致?》。
● 因為,我通過 nvcc -V
查看我的 CUDA
版本為 12.2
:
● 所以,我的選擇如下(我推薦使用 2.3.1
的 pytorch 版本):
● 輸入以下命令后,靜靜等著下載完成即可:
conda install pytorch==2.3.1 torchvision==0.18.1 torchaudio==2.3.1 pytorch-cuda=12.1 -c pytorch -c nvidia
● 最后簡單測試一下吧(能成功顯示 torch 的版本就表示安裝成功啦!??????):
7 參考資料
[1] 《歷經萬難,終于搭好深度學習環境[吐血總結篇,造福后人]》,it’s me
[2] 《【CUDA】nvcc和nvidia-smi顯示的版本不一致?》,感謝CSDN博主:u013250861
8 補充說明
● 若有寫得不對的地方,或有疑問,歡迎評論交流。
?? ?? 寫于2025年4月18日 22:17 教研室工位 💻