設計概覽、整體架構設計、網絡設計

看下面-這篇文章
【hcie-cloud】【7】華為云Stack_LLD設計【設計概覽、整體架構設計、網絡設計、部署設計、資源設計、服務設計】【上】

部署設計

云平臺整體部署架構

圖中在Region下每個灰底都代表一個數據中心，AZ1可以跨數據中心規劃，這里AZ1m跨了多個數據中心，AZ1n同樣跨了多個數據中心。

全局或區域部署原則

SAP HANA必須部署成單獨的一個資源池，不能和其他的云服務器類型共部一個資源池，SAP HANA采用裸金屬服務器和KVM虛擬化時必須分成兩個不同的資源池。

組件部署方案

• 基礎管理節點：安裝OpenStack控制節點、ManageOne、公共組件和基礎云服務組件。
• 擴展管理節點：安裝基礎云服務以外的其他高階云服務。
• 網絡計算融合節點：安裝軟件SDN組件，提供vRouter、ELB、EIP、VPN、NAT網關等功能，同時也作為計算節點，為客戶提供計算資源。

節點類型及部署詳情 - 管理節點

• 管理節點用于部署資源池層FusionSphere OpenStack控制節點、云服務、公共組件和管理域組件。
• 由于OpenStack計算節點數量增加導致管理節點需要擴展，如將GaussDB、RabbitMQ等組件部署到單獨的管理節點。
• 管理節點采用UVP作為HostOS，FusionSphere OpenStack采用物理部署方式，Service OM采用虛擬化部署方式；當華為分布式塊存儲作為管理存儲時，華為分布式塊存儲采用物理部署方式，華為分布式塊存儲Manager采用虛擬化部署方式。計算云服務、存儲云服務、網絡云服務、公共組件和管理域組件均采用虛擬化部署方式。

節點類型及部署詳情 - 網絡節點

• 網絡節點用于部署軟件SDN組件。
• 網絡節點采用UVP作為HostOS，vRouter、L3NAT、L3_service和VPN組件采用虛擬化部署方式。

節點類型及部署詳情 - ECS和EVS相關節點

• KVM計算節點（通用型ECS）：此節點類型為必選，用于ECS云服務發放通用型ECS實例（租戶虛擬機）。
• KVM計算節點（GPU型ECS）：此節點類型為可選，用于ECS云服務發放GPU型ECS實例（租戶虛擬機）。
• 分布式存儲節點（EVS）：此節點類型為可選，當華為分布式塊存儲作為業務存儲且華為分布式塊存儲分離部署時，用于EVS云服務發放EVS實例（租戶云硬盤）。
• 計算存儲融合節點（ECS和EVS）：此節點類型為可選，當華為分布式塊存儲作為業務存儲且華為分布式塊存儲- 融合部署時，用于ECS云服務發放ECS實例（租戶虛擬機）以及EVS云服務發放EVS實例（租戶云硬盤）。

• KVM計算節點（通用型ECS）采用UVP作為HostOS，FusionSphere OpenStack（compute角色）采用物理部署方式。
• KVM計算節點（GPU型ECS）采用UVP作為HostOS，FusionSphere OpenStack（compute角色）采用物理部署方式。
• 分布式存儲節點（EVS）采用EulerOS作為HostOS，華為分布式塊存儲采用物理部署方式。
• 計算存儲融合節點（ECS和EVS）采用UVP作為HostOS，FusionSphere OpenStack（compute角色）和華為分布式塊存儲采用物理部署方式。

節點類型及部署詳情 - BMS相關節點

• 裸金屬服務器管理節點：此節點類型為可選，僅在Region Type I場景下且選用BMS云服務時選用此節點類型。
• 裸金屬服務器網關節點：此節點類型為可選，僅在Region Type I場景下且選用BMS云服務時選用此節點類型。裸金屬服務器網關節點是裸金屬服務器的網絡流量轉發節點，實現VLAN到VxLAN的映射，為裸金屬服務器提供二三層網絡互通，安全訪問控制，NAT等網絡服務能力。
• 裸金屬服務器節點：此節點類型為可選。在性能、安全要求比較高或直接調用硬件接口的場景，需要使用裸金屬服務器。類似KVM計算節點，裸金屬服務器發放前需要先將裸金屬服務器節點擴容到云平臺，每一個裸金屬服務器節點能發放為一臺裸金屬服務器實例。

• 裸金屬服務器管理節點采用UVP作為HostOS；當華為分布式塊存儲作為裸金屬服務器管理節點的存儲時，華為分布式塊存儲采用物理部署方式。
• 裸金屬服務器網關節點采用UVP作為HostOS，FusionSphere OpenStack（baremetal-gateway角色）采用物理部署方式。

節點類型及部署詳情 - CSBS、VBS和CSHA相關節點

• eBackup Server&Proxy節點為可選，僅選用CSBS和VBS云服務時選用此節點類型，用于部署CSBS和VBS云服務的eBackup Server&Proxy。
  • eBackup Server&Proxy節點采用EulerOS作為HostOS。
• CSHA服務使用的仲裁軟件虛擬化部署場景下相關節點類型如下：
  • 采用物理服務器先安裝FusionCompute，然后通過FusionCompute創建仲裁虛擬機。
  • 仲裁虛擬機包括存儲仲裁虛擬機、云平臺仲裁虛擬機、ManageOne仲裁虛擬機、API Gateway仲裁虛擬機。

平臺時間同步設計 - 有外部NTP

• 資源池層FusionSphere OpenStack的NTP服務從外部NTP服務器獲取時鐘源。
• 資源池層Service OM、華為分布式塊存儲（包含FSM和FSA）、ManageOne和公共組件層的OM_NTP從FusionSphere OpenStack的NTP服務獲取時鐘源。
• 公共組件層的DMZ_NTP從FusionSphere OpenStack的NTP服務獲取時鐘源。
• 云服務、公共組件、管理域ManageOne等組件所在管理虛擬機從公共組件層的OM_NTP獲取時鐘源。
• 租戶虛擬機可以根據實際需要，從公共組件層DMZ_NTP獲取時鐘源，或者從外部NTP服務器獲取時鐘源。

平臺時間同步設計 - 無外部NTP

• 源池層中的Service OM、華為分布式塊存儲、ManageOne和公共組件層的OM_NTP從FusionSphere OpenStack的NTP服務獲取時鐘源。
• 公共組件層的DMZ_NTP從FusionSphere OpenStack的NTP服務獲取時鐘源。
• 云服務、公共組件、管理域ManageOne等組件所在管理虛擬機從公共組件層的OM_NTP獲取時鐘源。
• 租戶虛擬機可以根據實際需要，從公共組件層的DMZ_NTP獲取時鐘源。

外部系統對接設計

• xxx運維管理平臺是xx數據中心的運維中心，提供CMDB、告警、性能、工單等功能，負責全網設備的監控和管理；在xxx項目中，基礎設施云平臺需要與xxx運維管理平臺對接的功能包括：
  • CMDB：對象數據。
  • 告警：云平臺告警。
  • 性能：基礎性能數據。
  • 審批流程：租戶從華為的云平臺上發起資源申請，申請訂單轉到xxx運維管理平臺上審批，審批完成之后，申請訂單在華為云平臺上完成資源發放。
  • 對象操作：提供虛擬機的重啟操作（用于重啟排障）。

資源設計

資源分區設計

• Region：地理區域。Region的服務范圍是一個以時延為半徑的圈。
  • Region內時延：Region內如果覆蓋多個物理DC，應規劃充足的帶寬，盡量小的時延。譬如，小于2 ms。
  • 接入時延：Region內的用戶得到的前端服務可以小于該時延。譬如，100 ms。
  • 地理容災：各個Region通常在不同的地理位置，具有地理容災等級；
• AZ：可用區域。它包含有以下意義：
  • AZ為Region內的一個故障域。指在同一地域下，電力、網絡隔離的物理區域。
  • 可用分區中的計算、存儲、網絡資源是全互通的。
  • 不同類型計算資源池也劃分為多個AZ（裸金屬資源池、VM資源池）。
• 計算服務器集群：也稱主機組。
  • 管理員在計算資源池中把同一屬性的硬件資源對計算服務器進行邏輯劃分的一個群組。通常一個主機組的服務器數量不要超過128臺。
• 云服務器類型：
  • 根據上云應用的需求進行規劃，可使用通用型（CPU內存比1：4）、內存優化型（CPU內存比1：8）、計算優化型（CPU內存比1：2）等。

IaaS資源池規劃示例

• XX政務項目IaaS資源池規劃：
  • 物理機房：分為XXY和BH機房（屬于2個電信運營商），兩個機房，機房間距離小于10公里。
  • Region：政務外網業務和互聯網業務的安全風險、安全隔離要求不同，兩個業務區部署為2個Region。每個Region跨兩個機房。
  • AZ劃分：政務外網區Region劃分4個AZ，其中三個業務AZ（兩個虛擬機AZ、一個物理機AZ ）和一個測試AZ。互聯網區Region劃分3個業務AZ，兩個虛擬機AZ、一個物理機AZ。
  • 服務器集群：即主機組，管理員在系統上對相同硬件配置的服務器邏輯分組。
  • 云服務器類型：政務辦公類應用為主，采用通用型云主機。

計算資源池容量設計

計算資源池主機組設計

存儲集群規劃原則

一個backend內可以包含來自同一個存儲的多個存儲池；一個存儲池不能加入到多個backend，建議一個volume type只包含同一種存儲類型的backend，保證后端存儲的能力相同。根據應用場景不同，選取合適的存儲類型：

存儲資源池容量規劃 - 集中式存儲

存儲資源池容量規劃 - 分布式存儲

多級VDC劃分

• VDC：與企業/部門層級關系相匹配的邏輯組織單元，能夠完成用戶管理、配額管理、項目管理、產品定義、資源發放、服務保障等功能。支持創建多級VDC，適用于分級運營的場景。例如，集團包含多個子公司，子公司又包含多個下級部門。或者政務云存在多個委辦局。
  • VDC支持跨Region。
  • VDC支持為Region內不同云服務設置配額。
  • VDC支持為不同用戶，關聯不同的項目。
• Project：OpenStack原生概念，計算、存儲、網絡資源等最小歸屬單位，適合為項目組或業務系統分配單獨Project。
  • Project不能跨Region。

VDC設計示例

• 組織VDC規劃
  • 委辦局希望可以由運營管理員代維，適合每個委辦局劃分一個租戶（默認創建一級VDC）。
  • 一級VDC管理員根據組織結構的需求，確定是否創建下級VDC，每級VDC可單獨設置配額。
  • VDC管理員具備查看本級和下級VDC的資源發放以及資源的管理和維護權限。
• Project規劃
  • Project在每級VDC下創建，同時由VDC管理員管理。
  • 一個用戶可以關聯多個Project。可以關聯一級VDC內不同VDC下的Project。

服務設計

華為云Stack云服務一覽圖

圖中所示為華為云Stack8.1.1版本支持的云服務列表，不同版本存在差異。

華為云Stack云服務組件部署場景

• 每個獨立站點均需部署一套基礎組件.
  • Global解耦場景，global站點和Region站點需分別部署一套基礎組件。
  • Global/Region合并場景，需部署一套基礎組件。
  • Global區組件均部署在管理區；Region區組件區分管理區及管理下沉區（管理下沉區部署在POD區）,管理下沉組件與高階服務業務資源共主機組部署。

服務規劃示例 - OBS 3.0（1）

• 基礎IaaS服務可按照前面章節的內容進行設計，對于高階服務，比如OBS、安全服務、技術中臺與AI中臺服務都需要單獨對服務進行規劃。了解服務的架構、組網、流量模型以及部署形態，對服務的規劃至關重要，本小節將以OBS 3.0服務規劃為例。
• 先了解一下OBS 3.0的架構設計：
  
• 如上圖所示， Huawei Cloud OBS從架構上主要分為三層：Persistence Layer（存儲持久層），Index Layer（元數據服務層）和Service Layer（對象語義服務層）：
  • Persistence Layer（存儲持久層）基于通用服務器和介質構建統一的存儲持久層，負責數據布局、負載均衡、數據恢復能力，提供EC數據冗余方式，可以靈活解決性能以及成本問題。可以看出，Persistence Layer是Huawei Cloud OBS的基石，存儲系統的擴展性、性能、可靠性均基于此。
  • Index Layer（元數據服務層）負責具體的元數據分布、索引、故障切換等，對上層的Service Layer提供高速的元數據存取和查詢等能力，從上圖中可以看到Index Layer的數據最終也是存儲在Persistence Layer，所以這些元數據一樣共享底層Persistence Layer的數據存儲能力，從而保證整個系統的所有數據都是高擴展、高可靠的。
  • Service Layer（對象語義服務層），提供S3協議的接口，負責對象業務的接入、全局統一命名空間等，同時具備完善的增值服務，比如重刪、跨區域復制、QoS、多租戶、配額等特性，業界通用的對象存儲協議在Huawei Cloud OBS都可以提供，真正做到了按需分配，用戶不用再為存儲的選擇而犯難。

服務規劃示例 - OBS 3.0（2）

• 接著需要了解一下OBS服務在HCS組網的位置：
  
  圖例為單核心Type1組網，OBS在HCS網內獨立占用接入TOR，上聯到核心交換機。

服務規劃示例 - OBS 3.0（3）

接著需要了解一下OBS網絡平面：

網絡名稱	說明	功能	網關位置
BMC平面	OBS BMC IP地址	用于帶外管理，連接設備的板級管理模塊	BMC交換機
Internal_Base/OBS_Internal_Base	PXE平面IP	PXE平面，用于自動化安裝OS引導，OS安裝后該平面失效不需要繼續使用。	二層組網：核心交換機\三層組網：接入Leaf
OBS_OM OBS	OM平面IP	OBS管理面地址，該平面地址同時還給管理面提供S3業務接口訪問。VIP：虛IP，用于負載均衡及前端業務接入的可見IP	二層組網：核心交換機\三層組網：接入Leaf
OBS_Backend_Storage	OBS后端IP地址	OBS后端管理地址，用于OBS內部存儲數據的重構，讀寫等	二層組網：核心交換機\三層組網：接入Leaf
OBS_Paxos	OBS Paxos平面IP地址	OBS集群管理地址，用于集群間心跳管理	二層組網：核心交換機\三層組網：接入Leaf
OBS_OM_ECMP	OBS OM平面ECMP地址	OBS管理面等價路由地址，用于LVS向Service節點進行管理平面的負載均衡轉發	二層組網：核心交換機\三層組網：接入Leaf
OBS_Bussiness_Tenant	OBS租戶面地址	OBS租戶面地址，用于內大網訪問OBS。VIP：虛IP，用于負載均衡及前端業務接入的可見IP	二層組網：核心交換機\三層組網：接入Leaf
OBS_Tenant_ECMP	OBS租戶面ECMP地址	OBS租戶面等價路由地址，用于LVS向Service節點進行租戶平面的負載均衡轉發	二層組網：核心交換機\三層組網：接入Leaf

• 自帶表格不好看，放到excel里面好理解一些
  

服務規劃示例 - OBS 3.0（4）

• 接著需要了解一下OBS網絡架構：
  
• 在HCS下有二層、三層組網區分，區別在于網關位置，三層的網關在leaf上，二層的網關在Core上。
• OBS根據部署形態組網有區別，融合部署形態接入TOR和存儲TOR合并。分離部署TOR分開。
  • 接入TOR：連接LVS，Service節點。
  • 存儲TOR：連接Index，SSD，HDD其他節點。
• 擴容可以按照節點標準步長擴，TOR端口滿了后，擴容新的一組TOR，實現橫向Scale-out。

服務規劃示例 - OBS 3.0（5）

• 接著需要了解一下OBS小型化部署方案：
  
• 小型化場景OBS單集群最大支持40節點規模，標準化場景OBS單集群最大支持4096節點規模。
• 小型化場景OBS性能弱于標準化場景，同硬件規格下約為1/2~1/3。
• 小型化建議的部署容量區間是0~3PB，超過3PB需要使用標準化部署。
• OBS支持跨AZ訪問，暫不支持跨Region訪問（主要依賴EP2.0)。

服務規劃示例 - OBS 3.0（6）

• 接著需要了解一下OBS小型化組網：
  
• 小型組網需要1組TOR，類型為接入TOR，端口模式均為bond4+動態LACP。

服務規劃示例 - OBS 3.0（7）

• 接著需要了解一下小型化部署下容災、配置以及機柜擺放：

	設備和機柜要求	配置說明
非機柜級容災	機柜>=2，LVS>=2，FusionNode>=3	1.最小配置2+3，需要保證設備位于2個機柜。入柜順序為LVS01，02。2.存儲節點（FusionNode），最小3個節點，擴容節點按照順序依次擺放。3.每2個機柜作為一個機柜組，擴容的時候，先擴容機柜組內部，把設備填滿。都填滿以后，擴容機柜組。4.每個機柜組最小2+3的基本配置。
機柜級容災	機柜>=3，LVS>=2，FusionNode>=9	1.最小配置2+9，需要保證設備位于3個機柜。入柜順序為LVS01，02。2.存儲節點（FusionNode），最小9個節點，擴容節點按照順序依次擺放。3.每3個機柜作為一個機柜組，擴容的時候，先擴容機柜組內部，把設備填滿。都填滿以后，擴容機柜組。4.每個機柜組最小2+9的基本配置。支持一個機柜故障

• 上面放到excel中
  

服務規劃示例 - OBS 3.0（8）

接著需要了解一下OBS 3.0的硬件架構：

服務規劃示例 - OBS 3.0（9）

• 示例
  

• OBS小型化和標準化由于部署架構不同，無法做平滑演進。需要在初次建設的時候就規劃好OBS部署形態。

• OBS小型化當前建議上限空間3PB，對于預期容量超過6PB的局點或者對性能有較高的要求的局點，需要按照標準化形態部署。

• 如果小型化局點經過多次擴容，達到6PB上限空間，單桶容量上限無法跨集群。

• 當OBS作為大數據存算分離使用時，OBS3.0對象存儲需要使用25GE組網。

• 對象存儲支持集群內節點擴容，不支持擴容新集群。

• 存儲節點以池為粒度進行擴容；同一存儲池內只能有同一款典配機型，且要求機型配置規格完全一樣。不同存儲池可以分別是X86和ARM，每個池的大小可以不一樣，

服務規劃示例 - OBS 3.0（10）

• 接著需要了解一下OBS 3.0的域名規劃：
  • 為保證組網可靠性和業務訪問安全性，不能對內外部用戶暴露提供真實服務的存儲節點業務IP地址，而是使用域名方式對內部用戶和公網用戶提供業務。
  • 內部客戶端和外部公網客戶端訪問對象存儲服務域名，通過DNS解析后完成業務處理。對象存儲域名會同時注冊- 在云平臺管理側DNS服務器和租戶側DNS服務器。
  • 如需通過公網訪問對象存儲服務，需要將對象存儲域名同時注冊至公網DNS服務器。
  • 公網注冊OBS域名，必須與OBS內網域名保持一致。

服務規劃示例 - OBS 3.0（11）

• 接著需要了解一下OBS 3.0的對公網提供API訪問規劃：
  • 由于OBS服務功能涉及到Https請求，所以需要導入并使用包含了OBS域名的安全證書，使用證書后不會被瀏覽器安全策略攔截。可使用客戶購買的商業證書，若無商業證書，會上報告警。
  • 公有云訪問場景，客戶如果需要對外表現OBS可用，需要購買商業證書。一般商業證書的有效期為1~5年。
  • 如果不涉及公網訪問場景。一般不申請商用證書。如果要導入服務的預置證書則需要客戶簽署免責申明，認可自定義證書。

服務規劃示例 - OBS 3.0（12）

最后就可以根據上述內容進行OBS 3.0 服務規劃內容設計，并填寫在LLD里。


下圖為上圖放大后的截圖

• 總結一下
  本章主要講解了
  • 設計概覽：設計輸入、項目背景、建設目標、建設范圍
  • 整體架構設計：邏輯架構設計、物理架構設計
  • 網絡設計：管理區網段劃分設計、交換機VRF設計、防火墻安全域劃分、設備互聯地址設計、核心交換機路由設計、防火墻靜態路由設計、運營運維接入設計
  • 部署設計：組件部署方案、平臺時間同步設計、外部系統對接設計
  • 資源設計：資源分區設計、計算資源池設計、存儲資源池設計、VDC設計
  • 服務設計：部分云服務的規劃示例

學習推薦

• 華為云Stack產品文檔：
  https://support.huawei.com/hedex/hdx.do?docid=DOC1100925285&path=PBI1-253383977/PBI1-23710112/PBI1-21431666/PBI1-253386765/PBI1-23864287
• 華為人才在線官網：
  https://e.huawei.com/cn/talent/portal/#/
• 華為認證論壇：
  https://forum.huawei.com/enterprise/zh/forum-813.html

縮略語

縮略語	英文全稱	解釋
DCS	Distributed Cache Service	分布式緩存中間件服務，提供輕量級、高性能、高可靠的分布式對象緩存能力，加速數據訪問、減少對數據庫的依賴、提升業務響應速度，對應用提供數據緩存的位置透明訪問的key-value(KV)接口。
CCE	Cloud Container Engine	云容器引擎是為開發者、合作伙伴提供開發、部署、托管的容器應用平臺，幫助用戶快速、低成本地實現業務創新，縮短應用上市周期。
CSBS	Cloud Server Backup Service	云服務器備份可為彈性云服務器創建備份（備份內容包括云服務器的配置規格，系統盤和數據盤的數據），利用備份數據恢復云服務器業務數據，最大限度保障用戶數據的安全性和正確性，確保業務安全。
OBS	Object Storage Service	基于對象的云存儲服務，提供易擴展、高安全、高可靠性、低成本的數據存儲能力，用戶可以通過基于HTTP協議的接口對對象進行管理和使用。對象存儲服務一般應用于大規模的數據存儲服務。
LLD	Low Level Design	LLD是根據網絡規劃階段輸出的網絡拓撲、信令話路路由、業務實現方案，進一步對設計內容進行細化，給出數據配置原則，指導數據規劃的活動。
VPN	Virtual Private Network	一種系統配置，在此通過連接到可能包括專用網絡容量的不同的網絡開關，用戶能夠建立起一個專用網絡。
IAM	Identity & Access Management	身份管理與訪問控制主要包括賬號信息管理、角色權限管理、訪問控制管理和日志管理等功能。
AZ	Availability Zone	可用區，華為云Stack中物理概念。