認識lambda架構(架構師考試復習)

Lambda架構主要分為三層,批處理層、加速層和服務層。
如下圖所示:
在這里插入圖片描述
(1)批處理層(Batch Layer):存儲數據集,在數據集上預先計算查詢函數,并構建查詢對應的view。Batch Layer可以很好地處理離線數據。當很多場景需要實時查詢的時候,則需要Speed Layer

(2)加速層(Speed Layer):batch layer處理的是全體數據集,speed layer處理的是增量數據流。Speed layer接收到數據后會不斷更新Real-time view,而Batch Layer是根據全體離線數據集直接得到Batch View。

(3)服務層(serving layer):Serving layer用于合并Batch View 和Real-time view中的結果數據集到最終數據集。

1、批處理

批處理有兩個核心功能,存儲數據集和生成Batch View。該層主要負責主數據集,主數據集有以下三個屬性:

(1)數據是原始的

(2)數據是不可變的

(3)數據永遠真實的

2、加速層

它存儲實時視圖并傳入數據流,以便更新這些視圖。

Speed Layer和Batch Layer的區別如下:

(1)speed layer處理數據是最近的增量數據流,batch layer是全體數據集。

(2)Speed layer為了效率,接收到新數據時不斷更新Real-time view,而Batch Layer是根據全體離線數據集直接得到Batch View。

分為加速層和批量層的好處有哪些?

容錯性:當speed layer重新計算后,當前的real-time view就可以丟棄,而batch view也是重新計算的。

復雜性隔離:批量處理離線數據很好掌握,加速層處理增量數據隔離出來。

Scale out:橫向擴展,通過增加機器來擴展,而不是增加機器性能scale up。

3、服務層

用于響應用戶查詢,合并batch view和real-time view中的結果集得到最終數據集。該層提供了主數據集上執行的計算結果的低延遲訪問。讀取速度可以通過數據附加的索引來加速。

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/214169.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/214169.shtml
英文地址,請注明出處:http://en.pswp.cn/news/214169.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

mysql 5.7 Unknown column ‘password‘ in ‘field list‘

問題現象: 執行sql : select user,host,password from user;時提示 ERROR 1054(42S22):Unknown column password in field list 現象如下圖所示: mysql 5.7開始 密碼字段用:authentication_string

Redis哨兵模式:什么是哨兵模式、哨兵模式的優缺點、哨兵模式的主觀下線和客觀下線、投票選舉、Redis 哨兵模式搭建

文章目錄 什么是哨兵模式哨兵模式的優缺點主觀下線和客觀下線投票選舉哨兵模式場景應用Redis version 6.0.5 集群搭建下載文件環境安裝解壓編譯配置文件啟動關閉密碼設置 什么是哨兵模式 哨兵模式是Redis的高可用解決方案之一,它旨在提供自動故障轉移和故障檢測的功…

2023年四川網信人才技能大賽 實操賽Writeup

文章目錄 Crypto比base64少的baseaffine簡單的RSA Misc不要動我的flagSimpleUSB猜猜我是誰不聰明的AI Pwngetitezbbstack Reverse誰的DNA動了Dont Touch Me Weblittle_gamejustppbezbbssmart 題目附件,文章末尾微信公眾號點點關注親,謝謝親~ 題目附件鏈接…

C++ Qt開發:PushButton按鈕組件

Qt 是一個跨平臺C圖形界面開發庫,利用Qt可以快速開發跨平臺窗體應用程序,在Qt中我們可以通過拖拽的方式將不同組件放到指定的位置,實現圖形化開發極大的方便了開發效率,本章將重點介紹QPushButton按鈕組件的常用方法及靈活運用。 …

電子眼+無人機構建平安城市視頻防控監控方案

電子眼(也稱為監控攝像機)可以通過安裝在城市的不同角落,實時監控城市的各個地方。它們可以用于監測交通違法行為、監控公共場所的安全以及實時監測特定區域的活動情況。通過電子眼的應用,可以幫助警方及時發現并響應各類安全事件…

Ubuntu安裝TensorRT

文章目錄 1. 安裝CUDAa. 下載CUDAb. 安裝CUDAc. 驗證CUDA 2. 安裝CUDNNa. 下載CUDNNb. 安裝CUDNNc. 驗證CUDNN 3. 安裝TensorRTa. 下載TensorRTb. 解壓TensorRTc. 安裝TensorRTd. 安裝uff和graphsurgeone. 驗證是否安裝成功f. 備注 關注公眾號:『AI學習星球』 回復&…

spring boot學習第五篇:spring boot與JPA結合

1、準備表,創建表語句如下 CREATE TABLE girl (id int(11) NOT NULL AUTO_INCREMENT,cup_Size varchar(100) COLLATE utf8mb4_bin DEFAULT NULL,age int(11) DEFAULT NULL,PRIMARY KEY (id) ) ENGINEInnoDB AUTO_INCREMENT4 DEFAULT CHARSETutf8mb4 COLLATEutf8mb4…

C語言-鏈表_基礎

鏈表-基礎 1. 數組 1.1 靜態數組 例子:int nums[5] {0};struct person ps[5]; 缺點:1,無法修改地址2,無法動態定義長度3,占用內存過大或過小4,增刪速度慢 優點數組的內存是連續開辟的,所以讀取速度快1.2 動態數組 例子:int *nums (int *) calloc(5,sizeof(int));struct p…

Vmware突然無法獲取IP(二)

一 測試環境 宿主機: window10Vmware 17 proUbuntu 18.04虛擬機中 二 問題 之前虛擬機可以正常使用。過程中,安裝了docker(不確定是否和這個有關系)第二天開啟虛擬機時,發現網口為down的狀態。將網口up后&#xff0…

python第三方庫——openpyxl

Bokeh是一個Python庫,用于對Excel 2010 xlsx/xlsm/xltx/xltm文件進行讀寫操作。 官網對該工具的介紹為: openpyxl is a Python library to read/write Excel 2010 xlsx/xlsm/xltx/xltm files.It was born from lack of existing library to read/write…

使用Java實現漢諾塔問題

文章目錄 漢諾塔問題 今天和大家來看看漢諾塔問題,這也是一個經典的算法 漢諾塔問題 分治算法經典問題:漢諾塔問題 漢諾塔的傳說 漢諾塔:漢諾塔(又稱河內塔)問題是源于印度一個古老傳說的益智玩具。大梵天創造世界的…

Git 克隆子目錄

背景 有時候,一個倉庫太大(包含很多個工程),下載費時,又占電腦的空間。 如何只下載其中一個工程(子目錄)呢? 稀疏檢出(Spare Checkout) git 的 Spare Chec…

Java項目-瑞吉外賣Day5

視線新增套餐功能: 創建SetmealDish,SetmealDto類,與相關的mapper,service,serviceImpl,controller類。 Setmeal表示套餐,SetmealDish表示套餐對應的菜品。 交互過程: 前端請求&a…

TCP 和 UDP 區別? 2、TCP/IP 協議涉及哪幾層架構? 3、描述下 TCP 連接 4 次揮手的過程?為什么要 4 次揮手?

文章目錄 1、TCP 和 UDP 區別?2、TCP/IP 協議涉及哪幾層架構?3、描述下 TCP 連接 4 次揮手的過程?為什么要 4 次揮手?4、計算機插上電源操作系統做了什么?5、Linux 操作系統設備文件有哪些? 1、TCP 和 UDP …

RE2文本匹配調優實戰

引言 在RE2文本匹配實戰的最后,博主說過會結合詞向量以及其他技巧來對效果進行調優,本篇文章對整個過程進行詳細記錄。其他文本匹配系列實戰后續也會進行類似的調優,方法是一樣的,不再贅述。 本文所用到的詞向量可以在Gensim訓練…

2023年度盤點:智能汽車、自動駕駛、車聯網必讀書單

【文末送書】今天推薦幾本自動駕駛領域優質書籍 前言 2023年,智能駕駛和新能源汽車行業仍然有著肉眼可見的新進展。自動駕駛技術繼續嘗試從輔助駕駛向自動駕駛的過渡,更重要的是相關技術成本的下降。根據《全球電動汽車展望2023》等行業報告&#xff0c…

進程、容器與虛擬機的區別

進程、容器與虛擬機 參考:關于進程、容器與虛擬機的區別,你想知道的都在這! 進程、容器與虛擬機的結構圖 進程 介紹 進程是一個正在運行的程序,它是一個個可執行文件的實例。當一個可執行文件從硬盤加載到內存中的時候&#xf…

如何用CHAT寫方案?

問CHAT:幫我寫一份航空無動力樂園的可執行方案 CHAT回復: 方案一:概念及地點篩選 航空無動力樂園是指以航空運動為主題,利用自然地形與風力進行滑翔、跳傘等無動力航空運動的戶外休閑娛樂樂園。鑒于此,首需要確定樂園…

Shiro 框架中如何更新Redis的超時登錄時間?

在Shiro框架中,可以通過實現SessionDAO接口來將會話信息保存到Redis中,并且可以通過實現SessionValidationScheduler接口來定期檢查會話是否過期。因此,要更新Redis中的超時登錄時間,可以按照以下步驟進行操作: 實現Se…

基于SpringBoot+Vue會員制醫療預約服務管理信息系統(Java畢業設計)

點擊咨詢源碼 大家好,我是DeBug,很高興你能來閱讀!作為一名熱愛編程的程序員,我希望通過這些教學筆記與大家分享我的編程經驗和知識。在這里,我將會結合實際項目經驗,分享編程技巧、最佳實踐以及解決問題的…