Apach Ozone部署

前言

最近由于工作需要,要部署一套ozone。我自己對hadoop這套體系不是很熟悉,所以過程磕磕碰碰,好不容易勉強搭起來,所以記錄一下部署方式

準備

三臺主機,主機均已安裝jdk、hdfs,相關的安裝配置就不另外寫了,網上很多教程。

本次安裝部署版本為當前最新的ozone-1.3.0版

部署步驟

1、ozone官網下載安裝包,ozone有多種安裝方式(docker、二進制包、源碼編譯等)。這里用二進制包安裝方式。下載地址:Apache Ozone。這里下載了1.3.0版。ozone-1.3.0.tar.gz

2、上傳到服務器:

部分服務器沒有szrz命令的,可以通過scp命令進行復制:

scp?ozone-1.3.0.tar.gz?username@remote_ip:~/

解壓

tar?zxvf?ozone-1.3.0.tar.gz

3、生成配置文件

進入ozone目錄

cd??ozone

生成配置文件ozone-site.xml到etc/hadoop目錄下

bin/ozone?genconf?etc/hadoop

PS:如果生成配置文件前/etc/hadoop已存在ozone-site.xml,則先行刪除。

4、規劃各機器職責并完成配置文件的配置

規劃ozone的Ozone?Manager(OM)、Storage?Container?Manager(SCM)、Datanodes服務分別部署在哪些機器上。假設在a主機上啟動OM、SCM服務,a、b、c上啟動Datanodes服務。

在ab、c主機上創建元數據存儲文件夾

mkdir?-p?自定義目錄/ozonedata/meta

在a、b、c主機上分別創建數據存儲文件夾

mkdir?-p?自定義目錄/ozonedata/data

配置etc/hadoop/ozone-site.xml

<?xml version="1.0" encoding="UTF-8" standalone="yes"?>
<configuration><property><name>ozone.om.address</name><value>A主機ip</value><tag>OM, REQUIRED</tag></property><property><name>ozone.metadata.dirs</name><value>用戶目錄/ozonedata/meta</value><tag>OZONE, OM, SCM, CONTAINER, STORAGE, REQUIRED</tag></property><property><name>ozone.scm.client.address</name><value>A主機ip:9860</value><tag>OZONE, SCM, REQUIRED</tag></property><property><name>ozone.scm.names</name><value>A主機ip</value><tag>OZONE, REQUIRED</tag></property><property><name>ozone.scm.datanode.id.dir</name><value>用戶目錄/ozonedata/data</value></property><property><name>ozone.enabled</name><value>true</value></property><property><name>ozone.scm.datanode.id</name><value>用戶目錄/ozonedata/data/datanode.id</value></property>
</configuration>

配置etc/hadoop/core-site.xml

<configuration><property><name>fs.AbstractFileSystem.o3fs.impl</name><value>org.apache.hadoop.fs.ozone.OzFs</value></property><property><name>fs.defaultFS</name><value>o3fs://bucket.volume</value></property>
</configuration>

在A主機上啟動OM、SCM和datanode

到ozone-1.3.0/bin目錄下執行

./ozone?--daemon?start?scm
./ozone?--daemon?start?om
./ozone?--daemon?start?datanode

B、C主機下啟動datanode

到ozone-1.3.0/bin目錄下執行

./ozone?--daemon?start?datanode

可以到ozone-1.3.0/logs目錄下查看是否啟動成功。由于datanode使用ratis協議,所以至少要部署3個節點,否則寫入數據的時候會報:

INTERNAL_ERROR?Allocated?0?blocks.?Requested?1?blocks

驗證

嘗試創建一個卷(volume):

./ozone?sh?volume?create?volume

在卷下面創建一個桶(bucket):

./ozone?sh?bucket?create?volume/bucket

在桶下面往key寫入一個文件:

./ozone?sh?key?put?volume/bucket/mykey1?用戶目錄/ozone-1.3.0/etc/hadoop/ozone-site.xml

之后通過查看桶下面的key,以及myKey1下的文件內容,驗證是否寫入成功

./ozone?sh?key?ls?volume/bucket
./ozone?sh?key?cat?volume/bucket/mykey1

小結

本文主要介紹了ozone的基本部署。ozone還有很多高可用、安全性等等的配置值得深入研究,因為筆者還沒有需要使用,所以暫時沒有去研究,有興趣的讀者也可以參考官網文檔:https://ozone.apache.org/docs/1.3.0/zh/index.html

?

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/162104.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/162104.shtml
英文地址,請注明出處:http://en.pswp.cn/news/162104.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

python二叉樹鏈樹_樹的鏈式存儲結構

二叉鏈樹是一種樹狀數據結構&#xff0c;其中每個節點最多有兩個子節點&#xff0c;分別稱為左子節點和右子節點。每個節點包含一個數據元素和指向其左右子節點的指針。二叉鏈樹可以是空樹&#xff0c;也可以是具有以下特點的非空樹&#xff1a; 1. 每個節點最多有兩個子節點。…

netstat

netstat 命令用于顯示網絡狀態 參數說明&#xff1a; -a或--all 顯示所有連線中的Socket&#xff0c;默認不顯示LISTEN相關 -n 拒絕顯示別名&#xff0c;能顯示數字的全部轉化成數字 -e或--extend 顯示網絡擴展信息(User&#xff0c;Inode) -p或--programs 顯示正在使用So…

計算機組成原理 the one day

1.計算機系統硬件軟件 cpu運算器控制器 1個字&#xff08;word&#xff09;16bit&#xff1b; difference 1個字節&#xff08;Byte&#xff09;bit&#xff1b; 2.cpu主頻&#xff08;時鐘頻率&#xff09;1/cpu時鐘周期 CPI執行一條指令所需的時間周期數。 執行一條程序的…

JavaEE 多線程01

為什么引入多線程? 首先進程已經能很好的完成多任務這個情景下的并發編程了,那為什么又引入多線程呢? 這是因為在一些情景下,我么需要大量的創建和銷毀進程來完成一些任務,此時多進程對系統的開銷就會很大了. 假設有這樣一個場景,服務器同時接收到很多個服務請求,這個時候服務…

Python基礎教程: sorted 函數

嗨嘍&#xff0c;大家好呀~這里是愛看美女的茜茜吶 sorted 可以對所有可迭代的對象進行排序操作&#xff0c; sorted 方法返回的是一個新的 list&#xff0c;而不是在原來的基礎上進行的操作。 從新排序列表。 &#x1f447; &#x1f447; &#x1f447; 更多精彩機密、教程…

taro h5 ios解決input不能自動獲取焦點拉起鍵盤

描述&#xff1a;頁面中有個按鈕&#xff0c;點擊跳轉到第二個頁面&#xff08;有input&#xff09;&#xff0c;能直接獲取焦點拉起鍵盤輸入 安卓&#xff1a; 直接用focus() ios&#xff1a; focus無效&#xff0c;必須手動拉起 原理&#xff1a; 點擊按鈕的時候拉起一…

一元三次方程求解——浮點數二分

題目描述 思路 根與根之差的絕對值>1。可以得出距離為1的區間最多只有一個根若存在2個數x1和x2&#xff0c;且x1 < x2&#xff0c;f(x1) x f(x2) < 0&#xff0c;則(x1, x2)之間一定有一個根我們可以遍歷每一個區間為1的范圍&#xff0c;先判斷左端點是否是根&#x…

K8s client go 創建CRD的informer

背景 需要監聽K8s中CRD資源的變動, 做出相應的處理, 需要針對 CRD資源建立informer 實現 dynamicClient 是 創建的K8s的client, 這里使用的是 Unstructured 接収的CRD的結果, 加工的時候使用了convertUnstructuredProject 加工了一下, convertUnstructuredProject 實現下面提…

如何進行網絡通信和套接字編程?

網絡通信和套接字編程 引言 網絡通信是計算機科學中的重要概念&#xff0c;它使得不同計算機之間可以進行數據交換和信息傳遞。套接字編程是一種實現網絡通信的方法&#xff0c;它提供了一套標準的接口&#xff0c;使得應用程序可以通過網絡進行數據傳輸。本文將詳細介紹網絡…

Python---global關鍵字---設置全局變量

global 英 /?ɡl??b(?)l/ adj. 全球的&#xff0c;全世界的&#xff1b;全面的&#xff0c;整體的&#xff1b;&#xff08;計算機&#xff09;全局的&#xff1b;球形的 需求&#xff1a;如果有一個數據&#xff0c;在函數A和函數B中都要使用&#xff0c;該怎么辦&…

【PyGIS】使用阿里AIEarth快速下載指定區域指定年份的土地利用數據

說明 中國逐年土地覆蓋數據集(CLCD) 由武漢大學的楊杰和黃昕教授團隊基于Landsat影像制作了中國逐年土地覆蓋數據集(annual China Land Cover Dataset, CLCD),數據包含1985—2021年中國逐年土地覆蓋信息。研究團隊基于Landsat長時序衛星觀測數據,構建時空特征,結合隨機森…

Linux常用命令——blockdev命令

在線Linux命令查詢工具 blockdev 從命令行調用區塊設備控制程序 補充說明 blockdev命令在命令調用“ioxtls”函數&#xff0c;以實現對設備的控制。 語法 blockdev(選項)(參數)選項 -V&#xff1a;打印版本號并退出&#xff1b; -q&#xff1a;安靜模式&#xff1b; -v&…

藍橋杯官網填空題(重合次數)

問題描述 在同一天中, 從上午 6 點 13 分 22 秒到下午 14 點 36 分 20 秒, 鐘表上的 分針和秒針一共重合了多少次? 注意時針、分針、秒針都圍繞中心敳勻速運動。 答案提交 這是一道結果填空的題&#xff0c;你只需要算出結果后提交即可。本題的結果為一 個整數, 在提交答案…

【正則插件】前端正則插件以及預覽插件推薦

1&#xff09; 2&#xff09; any-rule Pegex Previewer 下載好插件之后 在代碼層右鍵選擇 選擇你需要的正則表達式&#xff0c;隨后可以使用第二個插件 正則表達式插入之后頂部會有 Test Regex.. 點擊會出現以下內容 將他 ctrl a 刪除&#xff0c;輸入你對應的正則表達…

@Validated注解的作用代碼示例

當使用Spring框架進行參數驗證時&#xff0c;可以通過Validated注解來觸發參數驗證。以下是一個簡單的示例&#xff0c;演示了如何在Spring控制器中使用Validated注解來驗證請求的參數&#xff1a; 首先&#xff0c;假設有一個簡單的User類作為請求的數據模型&#xff1a; pu…

電腦序列號查詢

電腦序列號是廠商給每臺電腦分配的一個產品識別碼&#xff0c;也稱為S/N&#xff08;Serial Number&#xff09;。主要用來查詢電腦的出廠日期、保修狀態、生產產地、產品配置等信息。電腦序列號查詢有以下幾種方法&#xff1a; 1、電腦機箱外殼&#xff1b; 2、系統信息/命令…

前端下載文件鏈接

前端下載文件鏈接 <!DOCTYPE html> <html lang"en"><head><meta charset"UTF-8"><meta name"viewport" content"widthdevice-width, initial-scale1.0"><title>Document</title> </hea…

CSS 文字溢出:ellipsis在IE上不起效果

單行文本的溢出顯示省略號 p {overflow: hidden;text-overflow: ellipsis;white-space: nowrap; }多行文本的溢出顯示省略號 方法一&#xff1a; p {display: -webkit-box;-webkit-box-orient: vertical;-webkit-line-clamp: 3;overflow: hidden;text-overflow: ellipsis; }…

梁培強:塑造下一代投資高手

在當前全球經濟動蕩和金融市場快速變化的背景下&#xff0c;梁培強的投資教育計劃不僅僅是一套課程&#xff0c;它是對傳統投資理念的深度挑戰和革新。梁培強&#xff0c;擁有超過二十年金融行業經驗的資深分析師&#xff0c;正在引領一場投資者教育的變革&#xff0c;旨在培養…

C++中的Makefile是什么, 如何使用

Makefile簡介 Makefile是一種用于構建C/C程序的文件&#xff0c;其中包含了項目中所有源文件、頭文件以及編譯器和鏈接器指令。使用Makefile可以使編譯和鏈接成為一個自動化的過程&#xff0c;這樣就可以方便地管理復雜的項目。 以下是一個簡單的Makefile示例&#xff1a; C…