AnalyticDB for PostgreSQL 實時數據倉庫上手指南

2019-04-016601

版權

本文涉及的產品

云原生數據倉庫 ADB PostgreSQL，4核16G 50GB 1個月

推薦場景：

構建的企業專屬Chatbot

立即試用

簡介：?AnalyticDB for PostgreSQL 提供企業級數據倉庫云服務，基于開源Greenplum構建，采用MPP架構，支持1000+節點PB級數據的實時分析。

云數據庫AnalyticDB for PostgreSQL是一種在線MPP大規模并行處理數據倉庫服務，基于Greenplum 開源數據庫項目，由阿里云深度擴展。其簡單易用、海量擴展、兼容部分Oracle 語法生態、支持PL/SQL，標準事務隔離級別，支持行存儲和列存儲、即滿足高性能在線交互分析需要，也可以進行離線數據處理清晰，主要特點有：

主要場景

1.實時數倉場景
通過數據傳輸服務 DTS 、數據集成工具DataX、開源同步工具 rds_dbsync 、 Kettle 等，同步交易庫數據 到 ADBPG，構建實時數倉。
MySQL/PG ->DTS/DataX->ADBPG

2.大數據計算分析
批量同步MaxCompute/Hadoop/Spark/SLS 數據到ADB for PG，支撐在線交互分析
大數據平臺/日志->DataX/OSS -> ADBPG

3.數據湖分析場景
數據按冷熱分析，支持在線查詢OSS分布式云存儲上的格式化數據

架構介紹：

開通實例：
如何在AnalyticDBPostgreSQL版控制臺上創建實例_云原生數據倉庫AnalyticDB PostgreSQL版-阿里云幫助中心

客戶端：
客戶端如何連接云原生數據倉庫AnalyticDBPostgreSQL版_云原生數據倉庫AnalyticDB PostgreSQL版-阿里云幫助中心

產品文檔：
ADB for PG 產品文檔：快速掌握AnalyticDBPostgreSQL實例的創建,連接,開發和運維_云原生數據倉庫AnalyticDB PostgreSQL版-阿里云幫助中心

常用操作
實例規格選型指導：如何選擇云原生數據倉庫AnalyticDBPostgreSQL版實例規格_云原生數據倉庫AnalyticDB PostgreSQL版-阿里云幫助中心
表規劃和設計指導：如何創建和約束數據庫中的表_云原生數據倉庫AnalyticDB PostgreSQL版-阿里云幫助中心
性能調優指導：不同操作場景下使用AnalyticDBPostgreSQL的性能優化指導_云原生數據倉庫AnalyticDB PostgreSQL版-阿里云幫助中心
建表語法：VMware Greenplum Documentation
列存壓縮（壓縮比3到10倍）：如何使用AnalyticDBforPostgreSQL列存和壓縮功能_云原生數據倉庫AnalyticDB PostgreSQL版-阿里云幫助中心
分區鍵選擇：AnalyticDBPostgreSQL版如何選擇表分布策略_云原生數據倉庫AnalyticDB PostgreSQL版-阿里云幫助中心
表分區（支持數字和日期類型上的多級分區）：
如何定義分區表_云原生數據倉庫AnalyticDB PostgreSQL版-阿里云幫助中心
VMware Greenplum Documentation

數據寫入方式總結：
數據可以采用 INSERT/COPY/OSS外表/Client SDK 寫入實例：AnalyticDBPostgreSQL版支持哪些數據寫入方式_云原生數據倉庫AnalyticDB PostgreSQL版-阿里云幫助中心

數據導入與同步：
數據同步和遷移方法總結：數據遷移及同步方案綜述_云原生數據倉庫 AnalyticDB PostgreSQL版-阿里云幫助中心
數據傳輸 DTS 準實時同步 RDS MySQL 數據到 ADB for PG：如何將數據從RDSMySQL版同步至AnalyticDBPostgreSQL版_云原生數據倉庫AnalyticDB PostgreSQL版-阿里云幫助中心
數據集成DataX 按小時/天同步數據到 ADB for PG：如何通過DataWorks完成表級數據遷移_云原生數據倉庫AnalyticDB PostgreSQL版-阿里云幫助中心
ADB for PG OSS 外部表文檔：如何使用OSS外表高速導入數據至AnalyticDBPostgreSQL_云原生數據倉庫AnalyticDB PostgreSQL版-阿里云幫助中心

ETL作業調度：
通過Dataworks 進行ADB for PG作業調度：使用 Dataworks 實現 AnalyticDB PostgreSQL版上的 ETL 作業調度-阿里云開發者社區

PostGIS 進行地理信息分析
使用PostGIS進行時空分析及典型使用場景_云原生數據倉庫AnalyticDB PostgreSQL版-阿里云幫助中心

社區文檔：
ADB for PG 社區官方手冊：VMware Greenplum Documentation
MADlib SQL機器學習庫：Apache MADlib

最佳實踐：
數據傾斜的監測和實踐：https://github.com/digoal/blog/blob/master/201708/20170821_02.md
負載管理(資源隊列管理)：https://github.com/digoal/blog/blob/master/201708/20170821_01.md

社群：
AnalyticDB for PG 在線技術支持釘釘群，包括 在線技術專家支持，新特性發布，優惠活動發布。【強烈推薦！】