大數據之路 讀書筆記 Day1

大數據之路 讀書筆記 Day1

阿里巴巴大數據系統體系架構圖

1. 數據采集層

兩大體系 WEB端:Aplus.js APP端:UserTrack
  • 傳輸:TimeTunnel(TT),支持實時流式計算時間窗口批量計算
  • 數據同步工具:DataX

2. 數據計算層

兩大體系
數據存儲及計算云平臺
離線計算平臺-Maxcompute
實時計算平臺-Streamcompute
數據整合及管理體系Onedata
以天為單位,凌晨處理上一天數據
實時處理數據,雙11
數據倉庫
離線數據倉庫
實時數據倉庫
數據加工鏈路
數據加工鏈路
操作數據層,ODS
明細數據層,DWD
匯總數據層,DWS
應用數據層,ADS
  • 元數據模型整合,面向數據發現,數據管理,用于存儲、計算和成本管理

3. 數據服務層

  • OneService

以數據倉庫整合計算好的數據作為數據源,通過接口方式提供數據服務,提供簡單復雜數據查詢(用戶畫像,用戶識別),實時數據推送等服務

4. 數據應用層

  • 搜索、推薦、廣告等等

附圖:
在這里插入圖片描述


點贊關注收藏,獲取更多干貨知識~

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/diannao/35573.shtml
繁體地址,請注明出處:http://hk.pswp.cn/diannao/35573.shtml
英文地址,請注明出處:http://en.pswp.cn/diannao/35573.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

2024.6.26 待學習知識點

" 取工單的組件 lt_aufnr CORRESPONDING #( lt_out MAPPING aufnr aufnr EXCEPT * ).ABAP POPUP_TO_CONFIRM 彈出框函數 CLASS-EVENTS CLASS-METHODS main. CLASS-METHODS raise_event_EXIT_COMMAND IMPORTING iv_ucomm TYPE sy-ucomm. PUBLIC SECTION. PROTECTED SE…

春風得意特斯拉(二)

科技品牌的命名也講究獨具特色和鮮明的辨識度,特斯拉為了致敬和紀念著名的物理學家尼古拉斯特斯拉,命名本身就具有先進性和領先性,而且是超越時代的領先性。如果缺乏時代高度和創造力,難以支撐品牌的市場地位。科技品牌命名簡潔化…

一文看懂C++中的數字處理

在C編程中,數字處理是非常基礎且重要的部分。C提供了多種數據類型和豐富的數學運算能力,使得開發者可以方便地進行各種數值計算。本文將介紹C中的基本數據類型、數字運算以及常用的數學函數,幫助讀者更好地理解和應用C中的數字處理功能。 一…

中文檢測程序(靜態代碼掃描)

歡迎您關注我們,經常分享有關Android出海,iOS出海,App市場政策實時更新,互金市場投放策略,最新互金新聞資訊等文章,期待與您共航世界之海。 在前些日子,給大家安利了我們在用的AS中文實時檢測插…

聚類距離度量(保姆級講解,包學會~)

在機器學習的聚類中,我們通常需要使用距離來進行類的劃分,或者比較不同類之間的各種距離,這里我們介紹西瓜書上所提出的一些距離計算方式。 首先介紹一下距離的一些性質: 西瓜書上給出了四條性質,第一個是非負性&#…

使用命令行創建uniapp+TS項目,使用vscode編輯器

一:如果沒有pnpm,先安裝pnpm 二:使用npx工具和degit工具從 GitHub 上的 dcloudio/uni-preset-vue 倉庫克隆一個名為 vite-ts 的分支,到項目中. 執行完上面命令后,去manifest.json添加appid(自己微信小程序的Id),也可不執行直接下一步,執行pnpm install ,再執行pnpm:dev:mp-weix…

Mysql索引的實現原理,B+Tree,WAL

InnoDB 引擎,每一個數據表有兩個文件 .frm和.ibd,分別為表結構,數據和索引,數據掛在主索引的葉子節點上,此主索引稱為聚簇索引。 MyISAM 引擎,每一個數據表有三個文件.frm和.MYI和.MYD,分別為表…

戀愛腦?No,愛情保鏢還得靠AI!

本文由 ChatMoney團隊出品 你是否曾經想過,為什么我們會在戀愛中變得如此“上頭”,仿佛整個世界都圍繞著那個TA旋轉? 戀愛腦,通常是指一個人在戀愛中過度投入、過度依賴對方,甚至無法自拔的心理狀態。 你會發現自己時時刻刻都在…

TemporalAccessorUtil

通常與Java中的日期和時間處理有關,特別是與java.time包的TemporalAccessor接口相關,TemporalAccessor是與Java 8引入的日期時間API的一部分,用于表示一個不可變的日期時間對象,例如LocalDate,LocalTime,LocalDateTime等; TemporalAccessorUtil可能是一個自定義的工具類&#…

Linux網絡-網絡層IP協議、數據鏈路層以太網協議、ARP協議、ICMP協議和NAT技術

文章目錄 前言一、IP協議IP報頭解析4位版本4位首部長度16位總長度8位生存時間8位協議16位首部校驗和32位源IP地址和32位目標IP地址 網段劃分子網-局域網子網掩碼特殊的IP地址 公網IP地址與私網IP地址運營商路由路由表 數據鏈路層MAC幀格式局域網通信原理局域網數據碰撞 MTU分片…

Docker-compose 實現Prometheus+Grafana監控MySQL及Linux主機

. ├── Grafana │ ├── data │ └── docker-compose.yaml ├── Mysql │ ├── conf │ ├── data │ ├── docker-compose.yaml │ └── logs ├── Mysqld_exporter │ ├── conf │ └── docker-compose.yaml ├── node-exporter │…

HarmonyOS應用開發學習經驗

一、HarmonyOS學習官網 開發者能力認證 HarmonyOS應用開發者基礎認證6月之前的學習資源官網已經關閉過期,大家不要慌,官方更新了最新資源,但是,對于之前沒有學習完的學員不友好,存在知識斷片的現象,建議官…

如何理解:業務架構、應用架構、數據架構、技術架構與系統和復雜度

關于系統的理解 1.1 系統的概述 隨著人類社會的發展,人們面對越來越多的規模巨大、關系復雜、參數眾多地復雜問題,這些問題的復雜度已經遠遠超出人類的理解能力,系統論就是為了分析和解決這些問題而生。我們平時接觸的計算機系統包括軟件系統…

ChatGPT的Mac客戶端正式發布了!Mac用戶有福了

ChatGPT的Mac客戶端正式發布了!Mac用戶有福了 🎉 大家好,我是貓頭虎,科技自媒體博主。今天我帶來了一個超級重磅的消息 📢,就是 ChatGPT 的客戶端終于來了!這對我們所有 Mac 用戶,尤…

2024全國大學生信息安全競賽(ciscn)半決賽(華中賽區)Pwn題解

簡介 前段時間賽前準備把ciscn東北賽區、華南賽區、西南賽區半決賽的題都復現完了。 可惜遇到了華東北賽區的離譜平臺和離譜pwn出題人: 假的awdp(直接傳🐎到靶機,然后連上去cat /flag.txt即可)題型分布不合理&#…

當前的網安行業絕對不是高薪行業

昨天,面試了一個剛畢業兩年的同學小A。第一學歷為某大專,第二學歷為某省地區的本科院校。面試過程表現一般偏下,但動不動就要薪資15K 這個人,我當場就PASS了。主要原因是,并非是否定小A同學的能力,而是他…

VSCode運行前端項目-頁面404

背景: 通過VSCode運行前端本地項目,運行成功后打開本地鏈接:http://1x.xxx.x.xxx:9803/ ,發現打開的頁面重定向到404:http//1xx.xxx.x.xxx:9803/404; 并且控制臺出現:Failed to load resource: …

詳解 ClickHouse 的監控及備份

一、ClickHouse 監控概述 ClickHouse 運行時會將一些個自身的運行狀態記錄到眾多系統表中(system.*)。所以對于 ClickHouse 自身的一些運行指標的監控數據,也主要來自這些系統表。直接查詢這些系統表進行監控會有一些不足之處: 這…

win10修改遠程桌面端口,Windows 10下修改遠程桌面端口及服務器關閉445端口的操作指南

Windows 10下修改遠程桌面端口及服務器關閉445端口的操作指南 一、修改Windows 10遠程桌面端口 在Windows 10系統中,遠程桌面連接默認使用3389端口。為了安全起見,建議修改此端口以減少潛在的安全風險。以下是修改遠程桌面端口的步驟: 1. 打…

IMX6ULL SD卡啟動uboot+kernel+rootfs

目錄 1. 背景說明 2.SD卡啟動 2.1準備條件 2.2 對SD卡分區格式化 2.3 制作sd卡鏡像 3.效果測試 1. 背景說明 網絡上絕大數教程,教大家把uboot燒錄到SD卡,然后uboot啟動后,通過TFTP下載kernel和設備樹,然后通過nfs掛載文件系…