一、華為FusionCompute虛擬化套件介紹
華為FusionCompute虛擬化套件是業界領先的虛擬化解決方案,能夠幫助客戶帶來如下的價值,從而大幅提升數據中心基礎設施的效率。
- 幫助客戶提升數據中心基礎設施的資源利用率;
- 幫助客戶成倍縮短業務上線周期;
- 幫助客戶成倍降低數據中心能耗;
- 利用虛擬化基礎設施的高可用和強恢復能力,實現業務快速自動化故障恢復,降低數據中心成本和增加系統應用的正常運行時間。
FusionCompute虛擬化套件通過在服務器上部署虛擬化軟件,使一臺物理服務器可以承擔多臺服務器的工作。通過整合現有的工作負載并利用剩余的服務器以部署新的應用程序和解決方案,實現較高的整合率。
應用場景:虛擬化場景適用于企業只采用FusionCompute作為統一的操作維護管理平臺對整個系統進行操作與維護的應用場景。包含資源監控、資源管理、系統管理等。
- FusionCompute主要負責硬件資源的虛擬化,以及對虛擬資源、業務資源、用戶資源的集中管理。
- 它采用虛擬計算、虛擬存儲、虛擬網絡等技術,完成計算資源、存儲資源、網絡資源的虛擬化。
- 同時通過統一的接口,對這些虛擬資源進行集中調度和管理,從而降低業務的運行成本,保證系統的安全性和可靠性。
1、FusionCompute產品定位
FusionCompute是云操作系統軟件,主要負責硬件資源的虛擬化,以及對虛擬資源、業務資源、用戶資源的集中管理。它采用虛擬計算、虛擬存儲、虛擬網絡等技術,完成計算資源、存儲資源、網絡資源的虛擬化。
通過統一的接口,對虛擬資源進行集中調度和管理,從而降低業務的運行成本,保證系統的安全性和可靠性,協助運營商和企業構筑安全、綠色、節能的云數據中心能力。
2、FusionCompute在虛擬化套件中位置
- 云機房:為云數據中心運營所提供的一系列基本配套設施和空間,主要包括供電系統、消防系統、布線系統、制冷系統等。
- 硬件基礎設施層:
- 硬件資源包括服務器、存儲、網絡、安全等全面的云計算基礎物理設備,支持用戶從中小規模到大規模的新建或擴容,可運行從入門級到企業級的各種企業應用。設備類型豐富,可為客戶提供靈活的部署選擇。
華為分布式塊存儲(FusionStorage Block)
是一種存儲與計算高度融合的分布式存儲軟件,在通用服務器上部署該軟件后,可以把所有服務器的本地硬盤組織成一個虛擬存儲資源池,提供塊存儲功能。
- FusionCompute虛擬化套件:通過在服務器上部署虛擬化軟件,將硬件資源虛擬化,從而使一臺物理服務器可以承擔多臺服務器的工作。通過整合現有的工作負載并利用剩余的服務器以部署新的應用程序和解決方案,可以實現較高的整合率。
- FusionCompute是云操作系統軟件,主要負責硬件資源的虛擬化,以及對虛擬資源、業務資源、用戶資源的集中管理。它采用虛擬計算、虛擬存儲、虛擬網絡等技術,完成計算資源、存儲資源、網絡資源的虛擬化。同時通過統一的接口,對這些虛擬資源進行集中調度和管理,從而降低業務的運行成本,保證系統的安全性和可靠性,協助運營商和企業構筑安全、綠色、節能的云數據中心能力。
- FusionCompute Pro: 多資源站點統一管理組件,實現不同地域下的多個資源站點統一管理,通過虛擬數據中心(VDC)給不同用戶實現資源分域管理能力。
- eBackup:eBackup是虛擬化備份軟件,配合FusionCompute快照功能和CBT(Changed Block Tracking)備份功能實現FusionCompute的虛擬機數據備份方案。
- UltraVR:容災業務管理軟件,利用底層SAN存儲系統提供的異步遠程復制特性,提供虛擬機關鍵數據的數據保護和容災恢復。
3、FusionCompute產品架構
CNA英文全稱:Compute Node Agent
,CNA部署在需要虛擬化的服務器上。
VRM英文全稱:Virtual Resource Management
,VRM可以部署在VM上或者部署在物理服務器上;VRM對外提供網頁操作界面給管理維護人員。
模塊 | 介紹 | 功能 |
---|---|---|
CNA | CNA(Compute Node Agent),部署在需要虛擬化的服務器上。 | - 提供虛擬計算功能。 - 管理計算節點上的虛擬機。 - 管理計算節點上的計算、存儲、網絡資源。 |
VRM | VRM(Virtual Resource Management),可以部署在VM上或者部署在物理服務器上;VRM對外提供網頁操作界面給管理維護人員。 | - 管理集群內的塊存儲資源。 - 管理集群內的網絡資源(IP/VLAN),為虛擬機分配IP地址。 - 管理集群內虛擬機的生命周期以及虛擬機在計算節點上的分布和遷移。 - 管理集群內資源的動態調整。 - 通過對虛擬資源、用戶數據的統一管理,對外提供彈性計算、存儲、IP等服務。 - 通過提供統一的操作維護管理接口,操作維護人員通過WebUI遠程訪問FusionCompute對整個系統進行操作維護,包含資源管理、資源監控、資源報表等。 |
4、FusionCompute產品功能
(1)虛擬化計算
FusionCompute支持將服務器物理資源 抽象 成邏輯資源,讓一臺服務器變成幾臺甚至上百臺相互隔離的虛擬服務器,不再受限于物理上的界限,讓CPU、內存、磁盤、I/O等硬件變成可以動態管理的“資源池”,從而提高資源的利用率,簡化系統管理。同時硬件輔助虛擬化技術提升虛擬化效率,增加虛擬機的安全性。
對于最終用戶,虛擬機比物理機的優勢在于:它可以很快速地發放,很方便地調整配置和組網。對于維護人員來講,虛擬機復用了硬件,這樣硬件更少,加上云平臺的自動維護能力,維護成本顯著降低。對于系統管理員,可以很直觀地知道資源使用的總量及變化趨勢,以便決策是否擴容。
(2)虛擬化存儲
FusionCompute存儲虛擬化技術可以更好地管理虛擬基礎架構的存儲資源,使系統大幅提升存儲資源利用率和靈活性,提高應用的正常運行時間。
FusionCompute支持將SAN設備、計算節點本地硬盤以及華為分布式塊存儲提供的虛擬存儲空間統一管理,以虛擬卷的形式分配給虛擬機使用。
存儲設備的能力、接口協議等差異性很大,存儲虛擬化技術可以將不同存儲設備進行格式化,將各種存儲資源轉化為統一管理的數據存儲資源,可以用來存儲虛擬機磁盤、虛擬機配置信息、快照等信息。用戶對存儲的管理更加同質化。
華為提供基于主機的存儲虛擬化功能,用戶不需要再關注存儲設備的類型和能力。存儲虛擬化可以將存儲設備進行抽象,以邏輯資源的方式呈現,統一提供全面的存儲服務。可以在不同的存儲形態,設備類型之間提供統一的功能。
(3)虛擬化網絡
FusionCompute支持分布式虛擬交換,可以向虛擬機提供獨立的網絡平面。像物理交換機一樣,不同的網絡平面間通過VLAN進行隔離。
分布式交換機的功能類似于普通的物理交換機,每臺主機都連接到分布式交換機中。分布式交換機的一端是與虛擬機相連的虛擬端口,另一端是與虛擬機所在主機上的物理以太網適配器相連的上行鏈路。通過它可以連接主機和虛擬機,實現系統網絡互通。另外,分布式交換機在所有關聯主機之間作為單個虛擬交換機使用。此功能可使虛擬機在跨主機進行遷移時確保其網絡配置保持一致。
5、FusionCompute帶來的價值
- 資源共享
- 虛擬化前,需要3臺物理機器運行獨立應用,每臺物理服務器資源利用率都很低;投資回報率低。
- 虛擬化后,3個獨立應用運行在一臺服務器上面,需購置的服務器大大減少;且服務器的資源使用率明顯提高;投資回報率高。
- 分時共享
- 虛擬化前,由于應用運行于不同服務器上,其中一個應用業務壓力大時,另一臺業務壓力小的服務器富裕的計算資源不能轉移給這臺服務器;從整體來看,服務器資源使用不均衡,資料利用不合理。
- 虛擬化后,應用共享一個服務器資源;其中一個應用業務壓力大,另外一臺壓力小的情況下,FusionCompute會協助服務器動態地將資源合理分配給各個應用,不僅能滿足業務壓力的需求,而且保持服務器資源處于高利用率狀態。
- 高可用
- 當業務虛擬機所在的主機發生故障或需要人工維護時,FusionCompute能夠第一時間檢測到異常,并把異常機器上運行的虛擬機在集群中其他正常的主機上面重新啟動,保障業務連續性。
- FusionCompute通過智能算法還能夠維持主機間負載的均衡;從而提供整體的可靠性。
通過資源共享和分時共享,虛擬化能夠明顯提高資源利用率,降低投資成本并提高投資回報率。通過使用和合理配置FusionCompute,可極大提高系統及運營業務的可靠性。
二、FusionCompute部署
安裝FusionCompute時,本地PC需要滿足一定要求,才能保證正確安裝。
軟件包可以從http://support.huawei.com/enterprise下載。
產品文檔鏈接:https://support.huawei.com/hedex/hdx.do?docid=EDOC1100215352&lang=zh。
- BMC平面:主機BMC網口所使用的平面。通過BMC平面可遠程訪問服務器的BMC系統。
- 管理平面:管理系統統一管理所有節點,以及節點間內部通信所使用的平面。使用管理平面的IP地址包括:
- 所有主機的管理IP地址,即主機管理網口使用的IP地址;
- 管理節點虛擬機的IP地址;
- 存儲設備控制器的IP地址。
- 存儲平面:主機與存儲設備的存儲單元互通所使用的平面。使用存儲平面的IP地址包括:
- 所有主機的存儲IP地址,即主機存儲網口使用的IP地址;
- 存儲設備的存儲IP地址。
- 業務平面:用戶虛擬機業務數據在網絡中使用的平面。
1、FusionCompute部署流程
- 開始
- 安裝CNA(Compute Node Agent,計算節點代理)
- 通過PXE方式批量安裝主機
- 通過ISO掛載手動安裝單臺主機
- 安裝VRM(Virtual Resource Management,虛擬資源管理)
- 可以使用FusionCompute安裝工具虛擬化部署VRM
- 可以在物理機上掛載ISO方式手動安裝VRM,過程同ISO手動安裝主機
2、實機部署(略)
三、FusionCompute虛擬化平臺管理與使用
FusionCompute是云操作系統軟件,主要負責硬件資源的虛擬化,以及對虛擬資源、業務資源、用戶資源的集中管理。
1、虛擬化的特點
- 分區:分區意味著虛擬化層為多個虛擬機劃分服務器資源的能力;每個虛擬機可以同時運行一個單獨的操作系統(相同或不同的操作系統),使用戶能夠在一臺服務器上運行多個應用程序;每個操作系統只能看到虛擬化層為其提供的“虛擬硬件”(虛擬網卡、CPU、內存等),以使它認為運行在自己的專用服務器上。
- 隔離:虛擬機是互相隔離的:
- 一個虛擬機的崩潰或故障(例如,操作系統故障、應用程序崩潰、驅動程序故障,等等)不會影響同一服務器上的其它虛擬機;
- 一個虛擬機中的病毒、蠕蟲等與其它虛擬機相隔離,就像每個虛擬機都位于單獨的物理機器上一樣;
- 可以進行資源控制以提供性能隔離:用戶可以為每個虛擬機指定最小和最大資源使用量,以確保某個虛擬機不會占用所有的資源而使得同一系統中的其它虛擬機無資源可用;
- 可以在單一機器上同時運行多個負載/應用程序/操作系統,而不會出現我們剛才討論傳統x86服務器體系結構的局限性時所提到的那些問題(應用程序沖突、DLL 沖突等)。
- 封裝:封裝意味著將整個虛擬機(硬件配置、BIOS 配置、內存狀態、磁盤狀態、CPU 狀態)儲存在獨立于物理硬件的一小組文件中。這樣,用戶只需復制幾個文件就可以隨時隨地根據需要復制、保存和移動虛擬機。
- 相對于硬件獨立:因為虛擬機運行于虛擬化層之上,所以只能看到虛擬化層提供的虛擬硬件;此虛擬硬件也同樣不必考慮物理服務器的情況;這樣,虛擬機就可以在任何x86服務器(IBM、Dell、HP等)上運行而無需進行任何修改。這打破了操作系統和硬件以及應用程序和操作系統/硬件之間的約束。
1、計算虛擬化介紹
(1)虛擬機資源管理 - CPU/內存在線調整
支持主流Linux系統虛擬機在線調整CPU和內存;支持主流Windows系統虛擬機在線調整內存,在線調整CPU后重啟生效。
(2)虛擬機資源管理 - CPU QoS
- QoS:Quality of Service,服務質量,虛擬機的CPU QoS用于保證虛擬機的計算資源分配,最大程度復用資源,降低成本。
- CPU QoS包含如下三個參數:
- CPU資源份額:CPU份額定義多個虛擬機在競爭物理CPU資源的時候按比例分配計算資源。
- CPU資源預留:CPU預留定義了多個虛擬機競爭物理CPU資源的時候分配的最低計算資源。
- CPU資源限額:控制虛擬機占用物理CPU資源的上限。
- IT管理員可以對虛擬機設定資源的使用上限,防止非關鍵應用和惡意用戶爭搶共享資源。
- 虛擬機的CPU QoS用于保證虛擬機的計算資源分配,隔離虛擬機間由于業務不同而導致的計算能力相互影響,滿足不同業務對虛擬機計算性能的要求,最大程度復用資源,降低成本。
- 創建虛擬機時,可根據虛擬機預期部署業務對CPU的性能要求而指定相應的CPU QoS。不同的CPU QoS代表了虛擬機不同的計算能力。指定CPU QoS的虛擬機,系統對其CPU的QoS保障,主要體現在計算能力的最低保障和資源分配的優先級。
(3)虛擬機資源管理 - 主機內存超分配
支持虛擬機總配置內存超過物理主機實際運行內存,通過虛擬機之間使用內存氣泡、內存交換以及內存共享等技術實現物理內存超規格使用。
- Host Memory和Guest Memory之間并不是一一對應
- 可以超額分配內存給VM,例如,物理內存共4 G,但上層三個GuestOS的分配的總內存達到了6 G。
- 通過內存復用技術實現超分配功能
(4)虛擬機HA
當計算節點上的虛擬機出現故障時,系統自動將故障的虛擬機在正常的計算節點上重新創建,使故障虛擬機快速恢復。
- 支持主機、虛擬平臺、虛擬機內部多種故障場景的檢測和虛擬機恢復。
- 支持集中控制HA和集群自治HA兩種機制,可自選。
- 可設置HA心跳消息的網絡平面,降低網絡壓力。
- 多種故障判斷機制,避免漏判、誤判故障。
- 支持共享存儲與本地存儲虛擬機HA。
(5)虛擬機資源管理 - 內存復用
- 內存氣泡:系統主動回收虛擬機暫時不用的物理內存,分配給需要復用內存的虛擬機。內存的回收和分配均為系統動態執行,虛擬機上的應用無感知。整個物理服務器上的所有虛擬機使用的分配內存總量不能超過該服務器的物理內存總量。
- 內存交換:將外部存儲虛擬成內存給虛擬機使用,將虛擬機上暫時不用的數據存放到外部存儲上。系統需要使用這些數據時,再與預留在內存上的數據進行交換。
- 內存共享:多臺虛擬機共享數據內容相同的內存頁。
2、存儲虛擬化介紹
存儲虛擬化是將存儲設備抽象為數據存儲,虛擬機在數據存儲中作為一組文件存儲在自己的目錄中。
數據存儲是邏輯容器,類似于文件系統,它將各個存儲設備的特性隱藏起來,并提供一個統一的模型來存儲虛擬機文件。
存儲虛擬化技術可以更好地管理虛擬基礎架構的存儲資源,使系統大幅提升存儲資源利用率和靈活性。
- 存儲資源:表示物理存儲設備,例如IPSAN、FusionStorage、NAS等。
- 存儲設備:表示存儲資源中的管理單元,類似LUN、FusionStorage存儲池、NAS共享目錄等。
- 數據存儲:數據存儲表示虛擬化平臺中可管理、操作的存儲邏輯單元。
FusionCompute存儲虛擬化技術定位于構建針對電信業務環境的高競爭力的虛擬化平臺,通過對開源KVM進行安全加固、功能擴展、性能優化和可靠性保障,具備如下特點:
- 存儲設備兼容性:對于不同的存儲設備,包括IPSAN、FCSAN、NAS、本地磁盤。可以做到以文件系統進行屏蔽,統一提供文件級別的業務操作。
- 豐富的功能:提供了包括精簡磁盤、增量快照、存儲冷熱遷移、鏈接克隆虛擬機、虛擬機磁盤擴容等眾多功能。
- 業務能力同質化:業務是在虛擬化層進行,基于各種存儲設備可以提供相同的能力,對存儲設備無特殊要求 。
(1)FusionCompute存儲虛擬化架構
FusionCompute存儲虛擬化架構如下圖所示:
FusionCompute存儲虛擬化平臺主要由文件系統、磁盤驅動和磁盤工具組成。SAN設備和本地磁盤等塊設備連接到服務器上后,經過設備驅動層和通用塊層后,對主機呈現一個磁盤設備。
文件系統建立在主機能夠訪問的存儲設備上,創建文件系統的過程就是主機對存儲設備執行格式化,在存儲設備上寫入文件系統的元數據和iNode信息,建立文件到裸設備塊的映射,并負責裸設備塊的管理,包括空間分配和釋放。對于虛擬化來說,文件系統屏蔽了塊層的操作,提供了文件級的抽象操作。虛擬機磁盤就是放在文件系統中的文件。
虛擬機磁盤在使用時,需要由磁盤驅動掛載給虛擬機,并通過QEMU管理起來,用戶虛擬機的所有讀寫IO都會由前端驅動截獲,轉發給QEMU進程,并轉換為用戶態驅動的讀寫操作,最終寫入磁盤文件中。
虛擬機磁盤中包含了屬性信息和數據區域,磁盤工具提供了一系列對虛擬機磁盤的操作,可以解析磁盤文件的文件頭,讀取或修改磁盤的屬性信息,創建磁盤的數據區等操作。
(2)VIMS虛擬集群存儲文件系統
VIMS是一種高性能的集群文件系統,使虛擬化技術的應用超出了單個存儲系統的限制,可讓多個虛擬機共同訪問一個整合的集群式存儲池,從而顯著提高了資源利用率。
VIMS是跨越多個存儲服務器實現虛擬化的基礎,它可啟用存儲熱遷移、DRS(Storage Dynamic Resource Scheduler)和High Availability等各種服務。
3、FusionCompute磁盤技術
在存儲虛擬化中,所有用戶存儲都是以文件形式呈現,虛擬機磁盤、快照、虛擬機配置都對應一個獨立的文件,常見的磁盤文件配置模式分為以下幾種:
- 普通磁盤:立即分配所有空間
- 普通延遲置零磁盤:立即分配所有空間,寫前置零
- 精簡磁盤:寫前空間分配,用多少分多少
(1)普通磁盤
普通磁盤創建時大小與虛擬磁盤大小相同,并將文件所有位置填0,占用空間較大,置備時間較長。
- 普通磁盤立即分配磁盤空間,并將所有空間填0。
- 該磁盤用于FusionCompute系統中的普通磁盤。
- 普通磁盤使用普通磁盤技術,創建時會進行全空間分配和置零操作,能夠提供最好的性能體驗和數據安全性。
- 適用于對IOPS要求較高的場景。該磁盤創建所需時間會比創建其他類型的磁盤長。
(2)普通延時置零磁盤
普通延遲置零卷創建時大小與虛擬磁盤大小相同,但不會進行填0操作,占用空間較大,置備時間較普通卷短。
- 該磁盤用于FusionCompute系統中的普通延遲置零磁盤,可以提高存儲設備的利用率。
- 普通延遲置零磁盤創建很快,創建時進行全空間分配,但未進行全置零動作,性能較普通磁盤有所下降。
- 適用于對發放速度要求高,但對IOPS(Input Output Per Second)要求不高的場景。
(3)精簡磁盤
精簡磁盤創建時大小為0,精簡磁盤創建時含少量元數據信息,大小一般為幾十K,創建時間均非常短。隨著用戶寫入數據,精簡磁盤的大小與實際占用空間將逐步增加。
- 該磁盤用于FusionCompute系統中的精簡磁盤,可以提高存儲設備的利用率。
- 精簡磁盤使用動態磁盤技術,可以節省存儲空間。
- 該磁盤在創建時不進行空間分配,而是在用戶IO寫入磁盤文件時才進行空間動態分配,性能較普通磁盤有所下降。
- 適用于用戶對存儲需求不明確,或是規劃的容量比實際使用的容量多的場景。