AWS Redshift的使用場景及一些常見問題

Redshift?不是關系型數據庫, 提供了Amazon Redshift Serverless 和 Amazon Redshift 都是構建于 Redshift 數倉引擎之上的,但它們適用的場景不同。Redshift和Dynamodb都可以存儲數據, 分別怎么選擇? 這里記錄一些常見的問題和場景。

1. 如何選擇用Amazon Redshift Serverless 和 Amazon Redshift?

Amazon Redshift Serverless:無需管理集群,按需計費,彈性自動擴展。適合不確定負載或數據團隊初期, 按照查詢時使用的 RPU(Redshift Processing Unit)計費,適合不可預測的工作負載。

Amazon Redshift(傳統集群):適合穩定、長期的大數據倉庫,擁有持續負載、對成本控制更精細的團隊, 按節點計費,可使用預留實例降低成本,適合固定工作負載, 按節點計費,可使用預留實例降低成本,適合固定工作負載。

維度Redshift ServerlessRedshift(集群)
部署管理無需管理節點,AWS 自動處理資源需要用戶自己部署節點和集群
計費模式按查詢消耗的“RPU”資源計費(彈性)按節點數+小時計費(固定)
適合場景負載波動大,查詢不頻繁;無需 DBA工作負載穩定,查詢頻繁,性價比高
啟動速度快速(即開即用)有啟動延遲,需要冷啟動時間
彈性擴展自動,無需配置手動擴容或設置自動擴縮容
成本控制適合短時輕量查詢,不用時不收費對長期高密度負載更劃算

2.?redshift設置了id為PRIMARY KEY,入庫仍然有重復id,唯一鍵不生效,有沒有其他方式可以設置數據行不重復.

????????本身沒有唯一主鍵約束(性能決定),?推薦:???編輯MERGE - Amazon Redshift
? ? ? ? (1)寫入時判斷然后merge

? ? ? ? (2)緩存到中間表, 再merge到目標表(因為received有一個有個SQL的語句叫merge,如果它發現有重復記錄,它就會做update,如果它發現是新的記錄沒有重復的,它就直接append也就是insert),和關系型數據庫不一樣, 因為關系數據庫,它本質上背后它是有個主鍵索引,而redshift沒有索引,它偏向于分析型場景.

3.?表數據大查詢慢,怎么優化, 支持索引嗎??

????????沒有索引,更合適是sortkey這個功能, 推薦:??VACUUM - Amazon Redshift

? ? ? ? 查看搜索鍵排序: select * from svv_table_info order by size desc;

????????數據量小,性能要求高可以走集群 → 費用會增長

4.?多個進程同時往一個表里批量寫數據,會導致數據丟失,或者表被鎖之類的問題嗎?

????????沒有行鎖,只有表鎖, 還是推薦緩存表再merge更快

5.?redshift 可以創建關聯表嗎?可以創建視圖嗎?如何創建?

????????視圖和物化視圖(預計算,可配置自動,手動,增量/全量等)都可以? ? ??編輯自動實體化視圖 - Amazon Redshift

6.?Serverless 的 Total used storage是怎么計算的, 比實際的數據大很多(實際數據2G的時候,顯示58G, 實際數據大概20G,顯示154.7 GB)

?????????Serverless 默認128個分片,每個分片有個最小容量,無法調整分片數量, 所以會自動伸展到合適的空間. 集群方式, 是可以根據業務量自定義分片數量的.

7.?redshift和dynamodb性能和收費上都有什么區別?

? ? ? (1)? redshift - 數據分析

? ? ? ?(2) dynamodb - 業務存儲(點查性能更好),更擅長更偏一個業務系統,本身是個KV,所以他更擅長做一些按照key來查詢他的這個value的場景

8.?redshift推薦的其他用法和優化點

? ? ? ? (1) 數據量增大,實時要求高(1-5分鐘) - 流式傳輸

? ? ? ? (2) 多集群架構,多計算,單存儲 ,一個寫入,一個讀取 - ?編輯Amazon Redshift 中的數據共享 - Amazon Redshift

? ? ? ? ? ? ? ? - AWS 賬戶和 AWS 區域之間共享數據。

9.?如何方便監控redshift的讀寫情況和數據增長情況之類

? ? ? ? 監控RPU等等

10. 頁面配置注意點

????????可以設一個limit限制,可以設置最大容量,比如說64或者是32,那么它到了那個限制,它就不會往上擴了, 要是不設置, 那你的配置就是下限, limit可以根據數據量大小無上限擴展.

?11. 支持數據共享

? ? ? ? 可以配置數據共享,某張表可以到表級別分享給你其他region的某一個redshift work group,他就可以直接看到直接看到, 且看到就是實時的表,跟你訪問的數據是一模一樣的,這個是可以配置的,甚至跨賬號也是可以的.

參考鏈接:

MERGE - Amazon Redshift

VACUUM - Amazon Redshift

Amazon Redshift 中的實體化視圖 - Amazon Redshift

自動查詢重寫以使用實體化視圖 - Amazon Redshift

Amazon Redshift 中的數據共享 - Amazon Redshift

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/901795.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/901795.shtml
英文地址,請注明出處:http://en.pswp.cn/news/901795.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

十五種光電器件綜合對比——《器件手冊--光電器件》

十五、光電器件 名稱 原理 特點 應用 發光二極管(LED) 基于半導體材料的電致發光效應,當電流通過時,電子與空穴復合,釋放出光子。 高效、節能、壽命長、響應速度快、體積小。 廣泛用于指示燈、照明、顯示&#…

Electricity Market Optimization(VI) - 機組組合模型以及 Gurobi 求解

本文參考鏈接:link \hspace{1.6em} 機組組合問題在電力系統中非常重要,這個問題也是一個優化問題,研究的就是如何調度現有的機組,調度的對象是以煤炭、石油、天然氣為燃料的火力發電機以及水力發電機等可預測處理的發電機組&#…

linux多線(進)程編程——(8)多進程的沖突問題

前言 隨著時間的推移,共享內存已經在修真界已經淪為禁術。因為使用這種方式溝通的兩人往往會陷入到走火入魔的狀態,思維扭曲。進程君父子見到這種情況,連忙開始專研起來,終于它們發現了共享內存存在的問題: 進程間沖…

網絡層IP協議知識大梳理

全是通俗易懂的講解,如果你本節之前的知識都掌握清楚,那就速速來看我的IP協議筆記吧~ 自己寫自己的八股!讓未來的自己看懂! (全文手敲,受益良多) 網路基礎3 網路層 TCP并沒有把數據發到網路…

數據結構與算法學習導航

目錄 指導思想資料總結代碼隨想錄hello-algoOI-WIKI 一名麻瓜的刷leetcode的簡單概述。 在這里對過去的自己說: 如果你相信算法有用你就刷刷leetcode,如果不相信面試會讓你相信。 當然,現在我確實認為算法和數據結構有用,leetcode也有用。 …

【網絡安全】誰入侵了我的調制解調器?(二)

文章目錄 針對 TR-069 協議 REST API 的攻擊思路攻擊百萬臺調制解調器意外發現 Cox 后端 API 的授權繞過漏洞確認我們能夠進入任何人的設備訪問和更新任何Cox商業客戶賬戶通過泄露的加密密鑰覆蓋任何人的設備設置執行對任何調制解調器的命令影響最后想說閱讀本文前,請先行瀏覽…

大模型在急性單純性闌尾炎預測及治療方案制定中的應用研究

目錄 一、引言 1.1 研究背景與意義 1.2 研究目的 1.3 研究方法與創新點 二、急性單純性闌尾炎概述 2.1 定義與發病機制 2.2 臨床表現 2.3 傳統診斷方法 三、大模型在急性單純性闌尾炎預測中的應用 3.1 大模型簡介 3.2 數據收集與處理 3.3 模型訓練與優化 3.4 預測…

Linux 上安裝和配置 VNC 遠程桌面

在 Linux 上安裝和配置 VNC(Virtual Network Computing)可以讓你遠程訪問圖形化桌面環境。以下是詳細的安裝和配置步驟,適用于主流 Linux 發行版(如 Ubuntu、CentOS、Debian 等)。 1. 安裝 VNC 服務器 Ubuntu/Debian …

《AI大模型應知應會100篇》第22篇:系統提示詞(System Prompt)設計與優化

第22篇:系統提示詞(System Prompt)設計與優化 摘要 在大語言模型(LLM)應用中,系統提示詞(System Prompt)是控制模型行為的核心工具之一。它不僅定義了模型的身份、角色和行為規范,還直接影響輸…

其他網頁正常進入,但是CSDN進入之后排版混亂

顯示不正常,排版混亂 解決方法: ①打開網絡設置 ②更改適配器 ③所連接的網絡 --右鍵 屬性 然后就可以正常訪問了。

Qwen2.5-VL視覺大語言模型復現過程,沒碰到什么坑

視頻講解:Qwen2.5-VL視覺大語言模型復現過程,沒碰到什么坑_嗶哩嗶哩_bilibili Qwen2.5-VL視覺大語言模型復現過程,沒碰到什么坑 今天復現下Qwen2.5-VL玩玩 https://github.com/QwenLM/Qwen2.5-VL 創建conda環境,實測22.04&#x…

宮庭海:跨界融合與家國情懷的影視開拓者

從音樂經紀人到影視多面手的創業之路 近日,國內娛樂產業領軍人物、著名音樂經紀人、制片人、影視投資人宮庭海先生再次受到廣泛關注。憑借其卓越的成就和貢獻,宮庭海先生在業界樹立了良好的口碑和廣泛的影響力。 宮庭海, 遼寧省大連市人&…

LeetCode算法題(Go語言實現)_51

題目 給你兩個下標從 0 開始的整數數組 nums1 和 nums2 ,兩者長度都是 n ,再給你一個正整數 k 。你必須從 nums1 中選一個長度為 k 的 子序列 對應的下標。 對于選擇的下標 i0 ,i1 ,…, ik - 1 ,你的 分數 …

并查集(力扣2316)

這種涉及不同連通分量的,看上去就可以用并查集。并查集的模板請參見上一篇內容。并查集(力扣1971)-CSDN博客 現在我們要求的是無法互相到達的點對。根據觀察易得,我們只需要求出每個并查集的元素數量,然后遍歷每個點&…

Python在生成藝術中的創新應用

Python在生成藝術中的創新應用 在數字藝術的浪潮中,Python以其強大的庫支持和簡潔的語法,成為了生成藝術領域的一顆璀璨明珠。今天,就讓我們一起踏上這段充滿創意與驚喜的旅程,探索Python如何在生成藝術中大放異彩。 一、引言 生成藝術,是一種通過算法自動生成藝術作品的…

ROS ROS2 機器人深度相機激光雷達多傳感器標定工具箱入門教程(一)

系列文章目錄 目錄 系列文章目錄 前言 一、安裝 1.1 ROS 2 官方軟件包 二、教程 2.1 標定配置器 2.1.1 機器人選項 2.1.2.1 外參相機-激光雷達標定 2.1.2.2 外參激光雷達-激光雷達標定 2.1.2.3 外參相機參照標定 2.1.2.4 外參激光雷達-參考標定 2.2 外參照相機-激…

Ubuntu利用docker搭建Java相關環境問題記錄

Docker拉取鏡像超時 報錯 Unable to find image dpanel/dpanel:latest locally docker: Error response from daemon: Get "https://registry-1.docker.io/v2/ ": context deadline exceeded (Client.Timeout exceeded while awaiting headers)解決方式 在etc/do…

list的模擬實現和反向迭代器的底層

1&#xff1a;list的模擬實現 1&#xff1a;鏈表的節點 對于list的模擬實現&#xff0c;我們需要先定義一個節點的類可以使用&#xff08;class也可以使用struct&#xff09; // List的節點類 template<class T> struct ListNode {ListNode(const T& val T()){_p…

數據加載與保存

通用方式? SparkSQL提供了通用的數據加載方式&#xff0c;使用spark.read.loa方法&#xff0c;并可通過format指定數據類型&#xff08;如csv、jdbc、json、orc、parquet、textFile&#xff09;。 load方法后需傳入數據路徑&#xff08;針對csv、jdbc、json、orc、parquet、…

7 編譯型語言、解釋型語言與混合型語言的深度解析:以 C、Java、Python 為例

在編程領域&#xff0c;語言的執行方式是其設計哲學的核心體現&#xff0c;直接影響著性能、可移植性和開發效率。本文將深入剖析編譯型語言&#xff08;以 C 語言為例&#xff09;、解釋型語言&#xff08;以 Python 為例&#xff09;和混合型語言&#xff08;以 Java 為例&am…