本文不生產技術,只做技術的搬運工!!!
前言
? ? ? ? 最近在使用華為云服務器進行模型訓練,發現其上傳下載文件都極慢,詢問華為官方人員是否限速,對方推薦使用obsutil作為中轉服務進行下載,在這里簡單進行操作記錄。
服務開通
? ? ? ? 該服務是需要在modelarts里進行訂購的
?點擊開通服務即可(需要花錢,我不是銷售也沒有廣告費)
獲取密鑰
開通服務后右上角有個訪問密鑰,單擊這里生成密鑰,注意密鑰生成后只能下載一次,請妥善保存
ObsUtil下載
華為服務器為arm架構,下載鏈接為:https://obsbrowser.obs.qdrgznjszx.com/obsutil_hcso_linux_arm64_5.3.4.tar.gzhttps://obsbrowser.obs.qdrgznjszx.com/obsutil_hcso_linux_arm64_5.3.4.tar.gz
?我的本機為amd64的ubuntu20.04,下載鏈接為:https://obs-community.obs.cn-north-1.myhuaweicloud.com/obsutil/current/obsutil_linux_amd64.tar.gzhttps://obs-community.obs.cn-north-1.myhuaweicloud.com/obsutil/current/obsutil_linux_amd64.tar.gzwindows客戶端下載請參考百度
ObsUtil安裝
該軟件下載完成后不需要安裝,直接解壓即可(本地端和服務器端都要安裝),解壓完成后內容如下圖所示:
?執行以下命令修改執行權限
sudo chmod 777 obsutil
ObsUtil配置
在解壓出的可執行文件所在的文件夾打開終端(本地端和服務器端都要配置),執行以下命令
./obsutil config -interactive
依次輸入以下內容,注意token不需要輸入,直接回車即可,SK和AK為剛才生成的密鑰,下載到本地為一個CSV文件,里面有這兩項
ObsUtil桶創建
這里作者是使用華為云服務頁面創建的,點擊紅色框會自動調轉頁面,然后點擊創建桶即可
創建完成后,可以在本地端或者服務器端執行以下命令查看桶
./obsutil ls
ObsUtil上傳與下載
上傳文件夾
./obsutil cp your_folder_path obs://your_bucket_name -r -f
下載文件夾
./obsutil cp obs://your_bucket_name your_folder_name -r -f
其余操作
參考:https://docs.qdrgznjszx.com/zh-cn/utiltg/obs/obs_11_0018.htmlhttps://docs.qdrgznjszx.com/zh-cn/utiltg/obs/obs_11_0018.html