docker搭建ray集群

1. 安裝docker 已安裝過docker 沒安裝流程

啟動 Docker 服務

sudo systemctl start docker
sudo systemctl enable docker   # 設置開機即啟動docker

驗證 Docker 是否安裝成功

docker --version

2. 部署ray

# 先停止docker服務
systemctl stop docker   
# 編輯 Docker 的配置文件  更改docker 鏡像保存的路徑 以防默認目錄存儲空間不足vim /etc/docker/daemon.json
{"data-root": "/data/docker"  # 自己存儲空間大的目錄
}
# 再次啟動docker服務 使上面的配置文件生效
systemctl start docker   
# 拉取鏡像到本地
docker pull **鏡像名稱:版本** 
# 查看鏡像
docker images# --network host參數 使docker環境共享宿主機IP# -v  參數使docker環境共享宿主機掛載目錄# tail -f /dev/null 參數  掛起docker  使其不中斷
docker run -d --name **docker環境名稱 自命名即可** --network host -v /mnt1:/mnt1 -v /mnt2:/mnt2 -v /data:/data -v /mnt3:/mnt3 **鏡像名稱:版本** tail -f /dev/null
# 查看docker環境列表
docker ps
#進入docker環境  執行任務
docker exec -it **自命名的docker環境名稱** /bin/bash 
# 退出docker環境
exit  
# 停止容器
docker stop ailab-data-pipelinev3   # 刪除已停止的容器
docker rm ailab-data-pipelinev3    
# 查看ray版本   所有機器ray版本應保持一致  否則集群不能使用
ray --version
# head節點啟動命令
ray start --head --port=6379 --dashboard-host=0.0.0.0 --dashboard-port=8265  --num-cpus 96
#每個work節點啟動ray服務命令   請替換IP和--num-cpus數目 --num-cpus 可以是nproc的值
ray start --address='127.0.0.0:6379' --num-cpus 96    
ray start --address='127.0.0.0:6379' --num-cpus 32
# 提交任務命令
ray job submit --working-dir ./ray_code -- python3 ray.py

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/web/90535.shtml
繁體地址,請注明出處:http://hk.pswp.cn/web/90535.shtml
英文地址,請注明出處:http://en.pswp.cn/web/90535.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

【iOS】SideTable

文章目錄前言1??Side Table 的核心作用:擴展對象元數據存儲1.1 傳統對象的內存限制1.2 Side Table 的定位:集中式元數據倉庫2??Side Table 的底層結構與關聯2.1 Side Table 與 isa 指針的關系2.2 Side Table 的存儲結構2.3 SideTable 的工作流程3??…

【Spring Cloud Gateway 實戰系列】高級篇:服務網格集成、安全增強與全鏈路壓測

一、服務網格集成:Gateway與Istio的協同作戰在微服務架構向服務網格演進的過程中,Spring Cloud Gateway可與Istio形成互補——Gateway負責南北向流量(客戶端到集群)的入口管理,Istio負責東西向流量(集群內服…

一文說清楚Hive

Hive作為Apache Hadoop生態的核心數據倉庫工具,其設計初衷是為熟悉SQL的用戶提供大規模數據離線處理能力。以下從底層計算框架、優點、場景、注意事項及實踐案例五個維度展開說明。 一、Hive底層分布式計算框架對比 Hive本身不直接執行計算,而是將HQL轉換…

SeaweedFS深度解析(三):裸金屬單機和集群部署

#作者:閆乾苓 文章目錄2.2.4 S3 Server(兼容 Amazon S3 的接口)2.2.5 Weed(命令行工具)3、裸金屬單機和集群部署3.1 裸金屬單機部署3.1.1安裝 SeaweedFS3.1.2 以Master模式啟動2.2.4 S3 Server(兼容 Amazon…

相機ROI 參數

相機的 ROI(Region of Interest,感興趣區域) 參數,是指通過設置圖像傳感器上 特定區域 作為有效成像區域,從而只采集該區域的圖像數據,而忽略其他部分。這一功能常用于工業相機、科研相機、高速相機等場景&…

Vue基礎(24)_VueCompinent構造函數、Vue實例對象與組件實例對象

分析上一節代碼中的school組件:該組件是一個名為VueCompinent的構造函數。截取部分vue.js源碼,分析Vue.extend:// 定義一個名為VueComponent的構造函數對象Sub,往Sub對象調用_init(options)方法,參數為配置項&#xff…

螢石云替代產品攝像頭方案螢石云不支持TCP本地連接-東方仙盟

不斷試錯東方仙盟深耕科研測評,聚焦前沿領域,以嚴謹標準評估成果,追蹤技術突破,在探索與驗證中持續精進,為科研發展提供參考,助力探路前行 螢石云價格螢石云的不便于使用 家庭場景:成本可控與隱…

C51:用DS1302時鐘讀取和設置時間

因為在ds1302.c文件中包含了寫ds1302(51向ds1302寫數據)和讀ds1302(51從ds1302讀數據)的兩個函數,我們根據文件中提供的函數來寫讀取時間和設置時間的函數即可ds1302.c文件源碼如下,需要的同學可以參考一下…

webrtc整體架構

WebRTC(Web Real-Time Communication)是一套支持瀏覽器和移動應用進行實時音視頻通信的開源技術標準,其架構設計圍繞 “實時性”“低延遲”“跨平臺” 和 “安全性” 展開,整體可分為核心引擎層、API 層、支撐服務層三大部分&…

淺析PCIe 6.0 ATS地址轉換功能

在現代高性能計算和虛擬化系統中,地址轉換(Address Translation)是一個至關重要的機制。隨著 PCIe 設備(如 GPU、網卡、存儲控制器)直接訪問系統內存的能力增強,設備對虛擬內存的訪問需求日益增長。 為了提升性能并確保安全訪問,Address Translation Services(ATS) 應…

【前端】ikun-pptx編輯器前瞻問題二: pptx的壓縮包結構,以及xml正文樹及對應元素介紹

文章目錄PPTX文件本質:一個壓縮包核心文件解析1. 幻燈片內容文件 (ppt/slides/slideX.xml)2. 元素類型解析文本框元素 (p:sp)圖片元素 (p:pic)單位系統開發注意事項參考工具pptx渲染路線圖PPTX文件本質:一個壓縮包 PPTX文件實際上是一個遵循Open XML標準…

分布式任務調度實戰:XXL-JOB與Elastic-Job深度解析

告別傳統定時任務的局限,擁抱分布式調度的強大與靈活 在現代分布式系統中,高效可靠的任務調度已成為系統架構的核心需求。面對傳統方案(如Timer、Quartz)在分布式環境下的不足,開發者急需支持集群調度、故障轉移和可視…

Windows 11下純軟件模擬虛擬機的設備模擬與虛擬化(僅終端和網絡)

Windows 11下用GCC的C代碼實現的虛擬機需要終端輸入/輸出(如串口或虛擬控制臺)和網絡連接,但不需要完整的硬件設備(如磁盤、顯卡、USB 等)。在終端輸入/輸出方面,參考qemu的源代碼,但不調用qemu…

CCF-GESP 等級考試 2025年6月認證Python六級真題解析

1 單選題(每題 2 分,共 30 分)第1題 下列哪一項不是面向對象編程(OOP)的基本特征?( )A. 繼承 (Inheritance) B. 封裝 (Encapsul…

C++中的deque

1. 什么是 Deque? 核心概念: Deque 是 “Double-Ended Queue”(雙端隊列)的縮寫。你可以把它想象成一個可以在兩端(頭部和尾部)高效地進行添加或刪除操作的線性數據結構。關鍵特性: 雙端操作&am…

GNU到底是什么,與Unix和Linux是什么關系

GNU(發音為 /ɡnu?/,類似“革奴”)是一個自由軟件操作系統項目,由理查德斯托曼(Richard Stallman)于1983年發起,目標是創建一個完全由自由軟件組成的類Unix操作系統。它的名字是一個遞歸縮寫&a…

雙指針算法介紹及使用(下)

在上一篇文章中我們已經對雙指針有了一定了解,接下來我們通過題目來對雙指針進行更好的理解。 1. leetcode 202. 快樂數 這道題使用的方法是快慢指針, 比如說一個數X,那么創建兩個變量X1和X2,然后X1每次變化兩次,X2變化…

Elasticsearch整合:Repository+RestClient雙模式查詢優化

Elasticsearch整合:RepositoryRestClient雙模式查詢優化Elasticsearch 雙模式查詢優化:Repository RestClient 整合指南一、架構設計:雙模式協同工作流二、Repository 模式:快速開發最佳實踐2.1 基礎配置2.2 高級特性&#xff1a…

Elasticsearch 高級查詢語法 Query DSL 實戰指南

目錄 1、DSL 概述 1.1 DSL按照查詢的結構層次劃分 1.2 DSL按照檢索功能的用途和特性劃分 1.3 示例數據準備 2、match_all ——匹配所有文檔 3、精確匹配 3.1 term——單字段精確匹配查詢 3.2 terms——多值精確匹配 3.3 range——范圍查詢 3.4 exists——是否存在查詢…

DNS 服務正反向解析與 Web 集成實戰:從配置到驗證全流程

DNS 服務正反向解析配置全流程指南 一、前言 在網絡環境中,DNS(Domain Name System)服務起著至關重要的作用,它負責將域名解析為 IP 地址,以及將 IP 地址反向解析為域名。本文將詳細介紹如何配置 DNS 服務的正反向解析…