CSAL: the Next-Gen Local Disks for the Cloud——論文泛讀

EuroSys 2024 Paper?論文閱讀筆記整理

問題

云本地磁盤以其實惠的價格和高性能而極具吸引力。在云本地磁盤中,物理存儲設備直接連接到計算服務器,并作為塊設備虛擬化到虛擬機(VM)。在這種設置下,計算節點受其有限的計算和存儲資源的限制,只能提供有限數量的VM(也稱為ECS實例)。

隨著CPU的性能的快速增長,促使進一步復用資源,為每臺服務器提供更多實例。然而,這種想法受到存儲設備發展的限制。一方面,硬盤驅動器擁有高密度,但帶寬仍在每個驅動器250MB/s左右,從而阻止本地磁盤在實現相同服務級別目標(SLO)的同時增加容量。另一方面,高性能存儲類內存(SCM)固態硬盤,提供了有競爭力的性能,但存儲容量有限,成本高得多[22]。

一種新方法是采用新興的QLC SSD[26,32,39,40,50]作為本地磁盤。QLC固態硬盤的高密度(比SLC高4倍)和低成本(不到SLC的1/4)提供了可接受的大容量。

本文方法

本文探討了利用基于QLC的高容量固態硬盤制作云本地磁盤的可能性。并進行了三次初步的嘗試:部署QLC SSD作為替代品,使用高性能SSD(HP-SSD)構建分層系統(即OpenCAS[8]),使用dm分區(內核設備映射器)[4]。但QLC固態硬盤不能簡單地作為替代品,原因有兩點:

  • QLC SSD采用粗粒度的邏輯到物理(L2P)映射(例如,Intel P5316 QLC SSD中的64KB間接單元[21,26,28,51])。64KB比傳統NVMe SSD中的4KB L2P條目大得多,從而導致高設備級寫入放大(即,4KB邏輯寫入變為64KB NAND寫入)。

  • 使用閃存轉換層(FTL)管理QLC內部的地址映射,導致垃圾收集的嚴重NAND級寫入放大,因為具有不同壽命的數據混合在一起[17]。

基于以上經驗教訓,本文提出了CSAL,即阿里云的下一代云本地磁盤。CSAL需要大約3GB的DRAM用于內存數據結構,管理HP-SSD作為寫緩沖區,并使用大容量分區命名空間(ZNS)QLC SSD進行持久性。

  • 設計了兩級L2P表,以實現細粒度(4KB)數據訪問,從而減輕設備級寫放大。

  • 周期性執行壓縮,將冷數據聚合為對底層ZNS QLC SSD的大順序寫入來回收寫入緩沖區空間。壓縮是由用戶(即VM)進行的,因此可以盡最大努力減少NAND級別的寫入放大。

開源代碼:https://github.com/spdk/spdk

實驗結果表明,CSAL始終以優異的性能占據優勢,在微觀、應用和部署基準方面,與排名第二的方法相比,CSAL分別可以實現2.22倍、1.82倍和2.03倍的加速。

總結

本文針對云本地磁盤,探討利用QLC SSD的可能性,通過三次初步實驗分析了主要的性能瓶頸:(1)QLC SSD采用粗粒度的邏輯到物理(L2P)映射(64KB),比傳統NVMe SSD中的4KB L2P條目大得多,導致高設備級寫入放大。(2)使用閃存轉換層(FTL)管理QLC內部的地址映射,導致垃圾收集的NAND級寫放大,因為不同壽命的數據混合在一起。本文提出CSAL,使用大約3GB的DRAM用于內存數據結構,使用HP-SSD作為寫緩沖區,使用大容量分區命名空間(ZNS)QLC SSD進行持久化。包括兩個技術:(1)兩級L2P表,以實現細粒度(4KB)數據訪問,減輕設備級寫放大。(2)周期性執行壓縮,將冷數據聚合為對底層ZNS QLC SSD的大順序寫入來回收寫入緩沖區空間,減少NAND級別的寫入放大。

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/diannao/42868.shtml
繁體地址,請注明出處:http://hk.pswp.cn/diannao/42868.shtml
英文地址,請注明出處:http://en.pswp.cn/diannao/42868.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

純前端如何實現Gif暫停、倍速播放

前言 GIF 我相信大家都不會陌生&#xff0c;由于它被廣泛的支持&#xff0c;所以我們一般用它來做一些簡單的動畫效果。一般就是設計師弄好了之后&#xff0c;把文件發給我們。然后我們就直接這樣使用&#xff1a; <img src"xxx.gif"/>這樣就能播放一個 GIF …

MPC學習資料匯總

模型預測控制MPC學習資料匯總 需要的私信我~ 需要的私信我~ 需要的私信我~ 【01】課件內容 包含本號所有MPC課程的課件&#xff0c;以及相關MATLAB文檔。 【02】課件源代碼 本號所有MPC課程的源代碼。 【03】MPC仿真案例 三個MPC大型仿真案例&#xff1a; 1&#xff09;…

Python面試題:在 Python 中如何進行多線程編程?

在 Python 中進行多線程編程通常使用 threading 模塊。下面是一個簡單的示例&#xff0c;展示了如何創建和啟動多個線程。 示例代碼 import threading import time# 定義一個簡單的函數&#xff0c;它將在線程中運行 def print_numbers():for i in range(10):print(f"Nu…

鏈接器的工作原理,靜態鏈接與動態鏈接的區別,如何創建和使用動態鏈接庫

鏈接器在程序開發中的作用至關重要&#xff0c;它負責將多個目標文件和庫文件整合成一個可以執行的文件。在深入了解鏈接器的工作原理、靜態鏈接與動態鏈接的區別&#xff0c;以及如何創建和使用動態鏈接庫之前&#xff0c;我們先來概述一下鏈接器的基本功能。 鏈接器的工作原…

20240704每日后端------聊聊 mybatis的 where 1=1

目標 最近&#xff0c;在項目中使用MyBatis進行SQL腳本編寫時&#xff0c;我遇到了以“WHERE 11”開頭的WHERE子句的做法&#xff0c;以簡化多個條件的串聯。這里有一個例子來討論這種技術以及“WHERE 11”是否對性能有任何影響。 <select id"" parameterType&q…

【數據結構】09.樹與二叉樹

一、樹的概念與結構 1.1 樹的概念 樹是一種非線性的數據結構&#xff0c;它是由n&#xff08;n>0&#xff09;個有限結點組成一個具有層次關系的集合。把它叫做樹是因為它看起來像一棵倒掛的樹&#xff0c;也就是說它是根朝上&#xff0c;而葉朝下的。 根結點&#xff1a;根…

04采訪:數字人直播

?AI技術的迭代對數字人直播一定是有正向推動作用的。直播可持續性差,投入產出極不協調。不適合前期大量投入。直播現在這個東西有一個問題,因為直播開始帶貨了,就已經不是一個單純的娛樂性質的視頻內容,而是對帶有一種商業目的內容。 直播帶貨的痛點:對主播而言是觀眾;…

俯臥撐計數器(Python)

通過 MediaPipe 檢測人體姿態&#xff0c;計算俯臥撐角度和計數&#xff0c;并在圖像上進行可視化展示 需要有cv2庫和mediapipe庫 mediapipe庫&#xff1a; MediaPipe是Google開源的機器學習框架&#xff0c;用于構建實時音頻、視頻和多媒體處理應用程序。它提供了一組預訓練的…

一文清晰了解HTML

有這樣一個txt記事本文件和一張圖片&#xff1a; txt文本內容是這樣的&#xff1a; <html><head><title>HTML學習</title></head><body><h1>hello HTML</h1><img src"高清修復.png"/></body> </html…

LabVIEW的JKI State Machine

JKI State Machine是一種廣泛使用的LabVIEW架構&#xff0c;由JKI公司開發。這種狀態機架構在LabVIEW中提供了靈活、可擴展和高效的編程模式&#xff0c;適用于各種復雜的應用場景。JKI State Machine通過狀態的定義和切換&#xff0c;實現了程序邏輯的清晰組織和管理&#xff…

VSCode工程中task.json的作用

在 Visual Studio Code&#xff08;VSCode&#xff09;中&#xff0c;tasks.json 文件是用來定義和配置任務&#xff08;Tasks&#xff09;的。任務指的是在開發過程中需要自動化執行的一系列操作&#xff0c;例如編譯代碼、運行測試、打包項目等。通過配置 tasks.json&#xf…

In Search of Lost Online Test-time Adaptation: A Survey--論文筆記

論文筆記 資料 1.代碼地址 https://github.com/jo-wang/otta_vit_survey 2.論文地址 https://arxiv.org/abs/2310.20199 3.數據集地址 1論文摘要的翻譯 本文介紹了在線測試時間適應(online test-time adaptation,OTTA)的全面調查&#xff0c;OTTA是一種專注于使機器學習…

【軟件分享】我們都需要會用的ArcGIS10.8和ArcGIS Pro

ArcGIS是地理人必備的地理制圖、空間分析常用的工具&#xff0c;讀地理&#xff0c;或多或少都會接觸到ArcGIS的使用&#xff0c;今天小編要帶來的就是ArcGIS10.8軟件資源和升級版ArcGIS Pro的軟件資源。 軟件安裝包獲取 公眾號回復關鍵詞&#xff1a;“ArcGIS"&#xff…

*算法訓練(leetcode)第二十五天 | 134. 加油站、135. 分發糖果、860. 檸檬水找零、406. 根據身高重建隊列

刷題記錄 134. 加油站135. 分發糖果860. 檸檬水找零406. 根據身高重建隊列 134. 加油站 leetcode題目地址 記錄全局剩余油量和當前剩余油量&#xff0c;當前剩余小于0時&#xff0c;其實位置是當前位置的后一個位置。若全局剩余油量為負&#xff0c;則說明整體油量不足以走完…

防爆手機終端安全管理平臺

防爆手機終端安全管理平臺能夠滿足國家能源、化工企業對安全生產信息化運行需求&#xff0c;能夠快速搭建起高效、快捷的移動終端管理平臺&#xff0c;提高企業安全生產管理水平&#xff0c;保證企業的安全運行和可持續發展。#防爆手機 #終端安全 #移動安全 能源、化工等生產單…

公有鏈、私有鏈與聯盟鏈:區塊鏈技術的多元化應用與比較

引言 區塊鏈技術自2008年比特幣白皮書發布以來&#xff0c;迅速發展成為一項具有顛覆性潛力的技術。區塊鏈通過去中心化、不可篡改和透明的方式&#xff0c;提供了一種全新的數據存儲和管理方式。起初&#xff0c;區塊鏈主要應用于加密貨幣&#xff0c;如比特幣和以太坊。然而&…

SQL Server 設置端口詳解

前言 在數據庫管理和開發過程中&#xff0c;SQL Server是一個廣泛使用的關系型數據庫管理系統。默認情況下&#xff0c;SQL Server使用1433端口進行通信。然而&#xff0c;出于安全性、端口沖突或網絡限制等原因&#xff0c;我們有時需要更改SQL Server的默認端口。本文將詳細…

VBA-計時器的數據進行整理

對計時器的數據進行整理 需求原始數據程序步驟VBA程序結果 需求 需要在txt文件中提取出分和秒分別在兩列 原始數據 數據結構 計次7 00:01.855 計次6 00:09.028 計次5 00:08.586 計次4 00:08.865 計次3 00:07.371 計次2 00:06.192 計次1 00:05.949 程序步驟 1、利用Trim()去…

易備數據備份軟件——低成本、高效能、全方位地守護您的數據安全

在數字化的時代&#xff0c;數據是企業和個人最寶貴的資產。然而&#xff0c;數據丟失、系統故障、惡意攻擊等威脅時刻存在。如何確保數據的安全與完整&#xff1f;易備數據備份軟件為您提供全方位無死角的解決方案&#xff0c;讓您高枕無憂&#xff01; 云備份&#xff1a;暢…

CV每日論文--2024.7.4

1、InternLM-XComposer-2.5: A Versatile Large Vision Language Model Supporting Long-Contextual Input and Output 中文標題&#xff1a;InternLM-XComposer-2.5&#xff1a;支持長上下文輸入和輸出的多功能大視覺語言模型 簡介&#xff1a;我們推出了InternLM-XComposer-…