AWS之存儲服務

目錄

一、傳統存儲術語

二、傳統存儲與云存儲的關系

三、云存儲之AWS

使用場景

文件存儲

數據塊存儲

對象存儲

EBS、EFS、S3對比

EBS塊存儲

S3對象存儲

S3 使用案例

S3 存儲類

EFS文件存儲


一、傳統存儲術語

分類

接口/技術類型

應用場景特點

關系及區別

機械硬盤接口

IDE(Integrated Drive Electronics)

早期用于個人電腦,現已逐漸淘汰

機械硬盤接口、固態硬盤接口是硬盤與主機或其他設備連接的物理和協議規范;

FC - SAN、IP - SAN是存儲區域網絡技術;NFS是文件共享協議;NAS是一種存儲設備及技術架構。

機械硬盤和固態硬盤接口用于硬盤設備本身接入系統;FC - SAN、IP - SAN構建存儲網絡,提供塊級存儲訪問;NFS常用于NAS設備實現文件共享訪問。

SATA(Serial Advanced Technology Attachment)

家用和普通辦公場景廣泛應用,成本低,傳輸速度適中

SAS(Serial Attached SCSI)

企業級服務器、存儲陣列常用,支持多設備連接,性能和可靠性高

SCSI(Small Computer System Interface)

中高端服務器、工作站使用,性能好但成本較高

FC(Fibre Channel)

高端存儲區域網絡(SAN)應用,傳輸速度快、低延遲、可靠性高

固態硬盤接口

M.2(曾稱NGFF,Next Generation Form Factor)

家用領域應用廣,體積小,傳輸速度快,分多種協議類型

U.2(SFF - 8639,接口規范名稱)

適用于企業級應用,支持高速數據傳輸和熱插拔

SATA(Serial Advanced Technology Attachment)

家用和部分企業場景仍在使用,兼容性好

mSATA(mini - Serial Advanced Technology Attachment)

曾用于小型設備如超極本,逐漸被M.2取代

SAS(Serial Attached SCSI)

企業級存儲常用,滿足高性能、高可靠性需求

PCIE(Peripheral Component Interconnect Express)

可提供極高的數據傳輸帶寬,常用于高端應用

存儲區域網絡架構

SAN(Storage Area Network)

一種高速網絡,提供塊級數據存儲,分為 FC - SAN(基于光纖通道)和 IP - SAN(基于 IP 網絡)

存儲網絡技術

FC - SAN(Fibre Channel Storage Area Network)

基于光纖通道技術,構建高速、穩定的存儲區域網絡,適合企業關鍵業務

IP - SAN(IP Storage Area Network)

基于IP網絡,利用iSCSI協議,成本較低,部署靈活,適用于對成本敏感且對性能要求不是極致的企業

文件共享協議

NFS(Network File System)

常用于Unix/Linux系統環境下實現文件共享,方便不同主機間訪問共享文件

存儲設備及技術

NAS(Network - Attached Storage)

通過網絡提供文件級存儲服務,適合中小企業、家庭等對文件共享和數據存儲有需求的場景,可使用NFS等協議實現文件共享

二、傳統存儲與云存儲的關系

三、云存儲之AWS

使用場景

文件存儲

數據塊存儲

對象存儲

EBS、EFS、S3對比

以下是AWS主要存儲服務的對比表格,綜合了EBS、EFS、S3的核心特性與適用場景:

特性

Amazon EBS (塊存儲)

Amazon EFS (文件存儲)

Amazon S3 (對象存儲)

Amazon S3 Glacier (歸檔存儲)

數據模型

塊級存儲(類似硬盤分區)

文件系統(POSIX兼容)

對象存儲(鍵值對)

對象存儲(歸檔層級)

訪問方式

掛載到單個EC2實例

多EC2實例/容器共享訪問(支持Linux)

REST API/HTTPS訪問

REST API/S3生命周期策略觸發

典型用例

數據庫(如RDS)、需要低延遲的應用

共享代碼庫、媒體處理流水線

靜態網站托管、日志歸檔、大數據分析

合規性存檔、醫療影像存儲、備份

性能特點

低延遲(SSD類型IOPS可達64,000)

高吞吐(10+ GB/s并發訪問)

高吞吐(單對象5TB上限)

檢索延遲分鐘級(需配置加速模式)

持久性

99.8%-99.9%(依賴EC2實例狀態)

99.999999999%(11個9)

99.999999999%(11個9)

同S3

擴展性

單卷最大64TB(io2 Block Express)

PB級自動擴展

無限擴展

無限擴展

成本結構

按預配置容量和IOPS計費(如gp3 $0.08/GB/月)

按實際使用量計費($0.08/GB/月 + 文件操作費用)

按存儲量(標準層$0.023/GB/月)+ 請求次數

存儲成本低至$0.004/GB/月,但檢索費用較高

生命周期管理

支持快照備份至S3

支持自動分層到低頻訪問層

支持跨區域復制、版本控制、自動歸檔到Glacier

需通過S3生命周期策略觸發

安全特性

卷加密(AWS KMS)、快照加密

文件級IAM權限控制

存儲桶策略、對象ACL、預簽名URL

繼承S3安全策略

關鍵差異總結:

  1. 訪問粒度? EBS提供塊級訪問(直接讀寫磁盤扇區),適合需要精細控制存儲結構的場景,如數據庫索引優化;? EFS通過文件協議(NFS)支持多節點共享,適合需要協作的開發環境;? S3以對象為最小單元,更適合非結構化數據(如圖片、視頻)的存儲與檢索。

  1. 成本敏感性場景? **高頻訪問**:EBS預置IOPS(io2)成本較高,但性能穩定,適合OLTP數據庫;? **低頻訪問**:S3智能分層(自動切換標準/低頻層)可節省30%成本;? **歸檔場景**:Glacier Deep Archive成本比標準S3低90%,但需接受小時級檢索延遲。

  1. 架構集成? EBS需與EC2強綁定,適合單一實例的持久化存儲;? EFS可跨AZ掛載,適合容器化應用(如EKS)的共享存儲;? S3通過EventBridge觸發Lambda,常用于無服務器架構的數據處理流水線。

建議根據數據訪問模式(隨機/順序讀寫)、延遲要求及預算綜合選擇。例如,電商秒殺系統推薦S3+CloudFront托管靜態資源,結合DynamoDB處理訂單,而金融交易系統則需EBS優化型卷支撐高并發數據庫事務。

EBS塊存儲

S3對象存儲

S3 使用案例

Amazon S3 是一項廣泛使用的存儲服務,其使用案例數不勝數。要了解詳情,請分別展開查看以下六個類別。

備份和存儲

Amazon S3 是用于備份文件的理想位置,因為它高度冗余。如上一節課中所述,AWS 將您的 EBS 快照存儲在 Amazon S3 中,從而利用其高可用性。

媒體托管

因為采用 Amazon S3,您可以存儲無限量的對象,而且單個對象可以達到 5 TB,所以它非常適合托管視頻、照片和音樂上傳內容。

軟件交付

您可以使用 Amazon S3 托管客戶可下載的軟件應用程序。

數據湖

Amazon?S3 為數據湖奠定了堅實基礎,因為它的可擴展性幾乎不受限制。您可以將內容存儲從 GB 增加到 PB 級,只需按實際使用量付費。

靜態網站

您可以將 S3 存儲桶配置為托管包含 HTML、CSS 和客戶端腳本的靜態網站。

靜態內容

由于 Amazon S3 可以無限擴展、支持大文件以及可讓您隨時通過 Web 訪問任何對象,因此它是存儲靜態內容的理想場所。

S3 存儲類

如果您將對象上傳到 Amazon S3,但未指定存儲類,則會將對象上傳到默認存儲類(通常稱為標準存儲)。在之前的課程中,您已了解默認的 Amazon S3 標準存儲類。

利用 Amazon S3 存儲類,您能夠在數據特征發生變化時更改存儲層。例如,如果您很少訪問舊照片,則可能需要更改照片的存儲類,節省成本。

存儲類

描述

S3 標準

適用于云應用程序、動態網站、內容分發、移動和游戲應用程序以及大數據分析的通用型存儲。

S3 Intelligent-Tiering

適用于數據訪問模式未知或不斷變化的情況。將對象存儲在三個層中:頻繁訪問層、不頻繁訪問層和歸檔實例訪問層。Amazon S3 會監控數據的訪問模式,并根據訪問頻率自動將數據移動到最經濟實惠的存儲層。

S3 標準 - 不頻繁訪問存儲(S3 標準 - IA)

適用于不常訪問、但在需要時要求快速訪問的數據。兼具 S3 標準的高持久性、高吞吐量和低延遲特點,同時具有較低的每 GB 存儲價格和檢索費用,適合存儲長期備份和災難恢復文件等。

S3 One Zone - 不頻繁訪問存儲(S3 One Zone - IA)

將數據存儲在單個可用區中,成本低于 S3 標準 - IA。適合針對不頻繁訪問的數據使用較低費用選項,且不需要 S3 標準或 S3 標準 - IA 的可用性和彈性的客戶,適用于存儲本地數據或可輕松重新創建的數據的輔助備份副本。

S3 Glacier Instant Retrieval

適用于很少訪問,但需要在數毫秒內檢索的歸檔數據。與 S3 標準 - IA 存儲類相比,此存儲類中存儲的數據可節省高達 68% 的成本,延遲和吞吐量性能相同。

S3 Glacier Flexible Retrieval

適用于每年訪問 1 - 2 次的歸檔數據,可提供低成本存儲。可使用加速檢索在短短 1 - 5 分鐘內訪問數據,也可在最多 5 - 12 小時內請求免費批量檢索,適合備份、災難恢復、異地數據存儲需求等場景。

S3 Glacier Deep Archive

是最低成本的 Amazon S3 存儲類。支持長期保留和數字化保存每年可能訪問一兩次的數據,默認檢索時間為 12 小時。可滿足監管合規性要求,適用于高度管制的行業,如金融服務、醫療保健和公共部門。

S3 on Outposts

使用 S3 API 和 S3 功能,為本地部署 AWS Outposts 環境提供對象存儲。適用于需要滿足本地數據駐留要求或出于性能原因,要將數據保留在本地部署應用程序附近的工作負載。

EFS文件存儲

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/diannao/82394.shtml
繁體地址,請注明出處:http://hk.pswp.cn/diannao/82394.shtml
英文地址,請注明出處:http://en.pswp.cn/diannao/82394.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

WPDRRC 模型:構建動態閉環的信息安全防御體系

WPDRRC 模型是一種信息安全整體架構設計模型,由預警(Warning)、保護(Protection)、檢測(Detection)、反應(Reaction)、恢復(Recovery)和反擊&…

Redis 數據類型詳解(二):Hash 類型全解析

文章目錄 一、什么是 Redis 的 Hash 類型?二、Hash為什么在有些時候比String好用三、常見命令1.HSET key field value2.HGET key field3.HMSET4.HMGET5.HGETALL6.HKEYS7.HVALS8.HINCRBY9.HSETNX 四、應用場景五、性能優勢六、注意事項總結 提示:以下是本…

Go Modules 的基本使用

在 Go Modules 項目中,首次運行時下載依賴包的正確流程需要根據項目情況區分處理。以下是詳細步驟和最佳實踐: 一、首次初始化項目的標準流程 1.1 創建項目目錄并初始化模塊 mkdir myproject && cd myproject go mod init github…

RISC-V AIA SPEC學習(五)

第六章 Interrupts for Virtual Machines(VS Level) 核心內容 1.VS級別外部中斷支持:?? ??客戶中斷文件(Guest Interrupt File)??:虛擬機的每個vCPU擁有獨立的IMSIC中斷文件,允許直接接收設備MSI。??vstopi CSR??:類似stopei,用于虛擬機內部處理最高優先級中…

【Python-Day 11】列表入門:Python 中最靈活的數據容器 (創建、索引、切片)

Langchain系列文章目錄 01-玩轉LangChain:從模型調用到Prompt模板與輸出解析的完整指南 02-玩轉 LangChain Memory 模塊:四種記憶類型詳解及應用場景全覆蓋 03-全面掌握 LangChain:從核心鏈條構建到動態任務分配的實戰指南 04-玩轉 LangChai…

【AXI總線專題】-AXI-LITE總線解讀

【AXI總線專題】-AXI-LITE總線解讀 1.axi-lite概述2.信號定義Write address channelWrite data channelWrite response channelRead address channelRead data channel 3.測試4.仿真波形5.工程文件 參考手冊 《3-2-03米聯客2022版AXI4總線專題-20211123.pdf》 《IHI0022E_amba_…

在企業級項目中高效使用 Maven-mvnd

1、引言 1.1 什么是 Maven-mvnd? Maven-mvnd 是 Apache Maven 的一個實驗性擴展工具(也稱為 mvnd),基于守護進程(daemon)模型構建,目標是顯著提升 Maven 構建的速度和效率。它由 Red Hat 推出,通過復用 JVM 進程來減少每次構建時的啟動開銷。 1.2 為什么企業在構建過…

網絡字節序 - 大端

回顧主機字節序 - 大小端 發送主機將發送緩沖區中的數據按內存地址從低到高的順序發出接收主機把從網絡上接收到的數據按內存地址從底到高的順序依次保存到接收緩沖區TCP/IP 規定,網絡數據流應采用大端字節序,即低地址高字節,也就是說&#…

《被討厭的勇氣》書摘

阿德勒心理學考慮的不是過去的“原因”,而是現在的“目的”。你的朋友并不是因為不想到外面去,才制造出不安的情緒。是先有了“不出去”這個目的,之后才會為了達到這個目的而制造出不安或者恐懼之類的情緒。 個人見解:這是阿德勒…

打造專屬AI好友:小智AI聊天機器人詳解

打造專屬AI好友:小智AI聊天機器人詳解 在當下的科技熱潮中,AI正迅速改變著我們的生活,成為了科技領域的新寵。而今,借助開源項目的力量,你可以親手打造一個智能小助手——小智AI聊天機器人。它不僅是一個技術探索的窗…

如何利用爬蟲獲得1688商品詳情:實戰指南

在電商運營和市場分析中,獲取1688商品詳情數據是一項重要任務。本文將詳細介紹如何利用爬蟲技術獲取1688商品詳情,包括準備工作、爬蟲實現步驟以及注意事項。 一、準備工作 (一)注冊1688開放平臺賬號 在1688開放平臺注冊開發者…

如何優化系統啟動時間--基于米爾瑞薩MYD-YG2LX開發板

1.概述 MYD-YG2LX采用瑞薩RZ/G2L作為核心處理器,該處理器搭載雙核Cortex-A551.2GHzCortex-M33200MHz處理器,其內部集成高性能3D加速引擎Mail-G31 GPU(500MHz)和視頻處理單元(支持H.264硬件編解碼),16位的DDR4-1600 / DDR3L-1333內…

QML 圖像變換(縮放、平移、旋轉)

目錄 引言相關閱讀基礎知識工程結構核心代碼解析示例1:圖像縮放(ImageScale.qml)代碼說明運行效果 示例2:圖像平移(ImageTransform.qml)代碼說明運行效果 示例3:圖像旋轉(ImageRotat…

Linux 系統命令使用指南1

適用于 Red Hat / CentOS / Rocky Linux 等系統的基本初始化配置操作。 🔒 1. 關閉 SELinux(臨時生效) setenforce 0?? 注意:此命令僅臨時關閉 SELinux,重啟后可能恢復。要永久關閉,請修改 /etc/selinux…

1.2.1 Linux音頻系統發展歷程簡介

Linux音頻系統的發展經歷了從最初的簡單驅動到今天多層次、模塊化音頻架構。簡要梳理其主要歷程: 早期的OSS(Open Sound System) 在90年代及2000年代初,Linux主要使用OSS來支持音頻。OSS直接為硬件設備(如聲卡&#…

【Linux操作系統】第一彈——Linux基礎篇

文章目錄 💡 一. Linux的基本常識🪔 1.1 linux網絡連接三種方式🪔1.2 虛擬機的克隆🪔1.3 虛擬機的快照🪔1.4 虛擬機的遷移和刪除🪔1.5 vmtools工具 💡二. Linux的目錄結構🪔2.1 Linu…

STM32printf重定向到串口含armcc和gcc兩種方案

STM32串口重定向:MDK與GCC環境下需重寫的函數差異 在嵌入式開發中,尤其是使用 STM32系列微控制器 的項目中,調試信息的輸出是不可或缺的一部分。為了方便調試,開發者通常會選擇將 printf 等標準輸出函數通過 UART 串口發送到 PC …

C++ 文本讀寫與二進制讀寫的底層機制

1.文件的打開方式 1.文本打開 在windows中,寫入時會將\n換成\r\n,讀出時\r\n會讀出\n linux對\n讀寫不做處理 2.二進制打開 對\n讀寫不做處理 2.文本讀寫 1.數據要先變成字符串再寫進緩沖區 2.字符串直接寫進緩沖區就是 3.c對文本讀寫的支持 istream/ostream中重載了對…

02 mysql 管理(Windows版)

一、啟動及關閉 MySQL 服務器 1.1 通過 “服務” 管理工具 winr打開運行,輸入services.msc 找到MySQL80,這個是我們在安裝mysql的時候給的服務的名稱,具體見文章mysql 安裝 右鍵選擇啟動或者停止。 1.2 通過命令提示符 1.2.1 關閉命令…

Elasticsearch知識匯總之 ElasticSearch高可用方案

六 ElasticSearch高可用方案 6.1 高可用架構 請求協調節點根據負載均衡,轉發給主分片節點,主分片同步復制給從節點,主從節點都寫入完成返回客戶端請求成功。對于讀請求,協調負載到任意節點數據節點,數據節點把各自符合…