maxcompute 2.0復雜數據類型之array

2019獨角獸企業重金招聘Python工程師標準>>> hot3.png

1. 含義

類似于Java中的array。有序、可重復。

2. 場景

什么樣的數據,適合使用array類型來存儲呢?這里列舉了幾個我在開發中實際用到的場景。

2.1 標簽類的數據

為什么說標簽類數據適合使用array類型呢?
(1)標簽一般是一個只有key、沒有value的結構;
(2)標簽的數量(枚舉值個數)會非常多;
(3)標簽的變化會比較頻繁;
(4)標簽會過期;
因此,比起“創建多個字段”、“使用指定分隔符分隔的字符串”、“使用map”等方法,使用array是更合適的。

2.2 對象列表

對象有多種固定的屬性,簡單的key-value格式無法滿足,可以使用array嵌套struct的方式定義。減少了維護數據字典的工作量。

3. 玩轉array

3.1 數組字段拆成多行

3.1.1 explode

select explode(t.arr) from (select array('a','b','c') as arr) t;
col
a
b
c
select t1.id,t2.arr from (select 'xxx' as id,array('a','b','c') as arr) t1 lateral view explode(t1.arr) t2 as arr ;
idarr
xxxa
xxxb
xxxc

3.1.2 posexplode

select posexplode(t.arr) from (select array('a','b','c') as arr) t;
posval
0a
1b
2c
select t1.id,t2.serialno,t2.arr from (select 'xxx' as id,array('a','b','c') as arr) t1 lateral view posexplode(t1.arr) t2 as serialno,arr ;
idserialnoarr
xxx0a
xxx1b
xxx2c

3.2 多行合并成數組

3.2.1 不去重

select collect_list(t.c1) as arr from ( select 'a' as c1 union all select 'a' as c1 union all select 'b' as c1) t;
arr
["a","a","b"]

3.2.2 去重

select collect_set(t.c1) as arr from ( select 'a' as c1 union all select 'a' as c1 union all select 'b' as c1) t;
arr
["a","b"]

3.3 數組拼成字符串

select concat_ws(',',t.arr) from (select array('a','b','c') as arr) t;
_c0
a,b,c

3.4 字符串轉成數組

select split('a,b,c',',');
_c0
["a","b","c"]

3.5 構造數組

select array('aa','bb','cc');
_c0
["aa","bb","cc"]

3.6 數組元素排序

select sort_array(array('b','c','e','a','d'));
_c0
["a","b","c","d","e"]
select sort_array(array(1,10,100,2,3));
_c0
[1,2,3,10,100]

3.7 數組中增加一項

select split(concat('d,',concat_ws(',',t.arr)),',') as arr from (select array('a','b','c') as arr) t;
arr
["d","a","b","c"]

4. 常見用法

4.1 代替無法使用的with cube

例如現在有張下單記錄流水表,記錄著每一條下單記錄,包含字段“訂單ID”、“下單人ID”、“下單渠道(網站/app)”。
現在要統計“各渠道的下單人數和訂單數”,渠道維度包含“不限”、“網站”、“APP”三項。
一般做這些包含“不限”的維度的聚合計算時,都使用group by xxx with cube關鍵字。但是maxcompute中暫時還不支持這個關鍵字,所以我們換另一種方法來實現。

SELECT tt.`下單渠道`, COUNT(1) AS `下單人數`, SUM(tt.`下單量`) AS `下單量`
FROM (SELECT t1.`下單人ID`, t2.`下單渠道`, SUM(t1.`下單量`) AS `下單量`FROM (SELECT t.`下單人ID`, t.`下單渠道`, SUM(t.`下單量`) AS `下單量`FROM (SELECT `訂單ID`, `下單人ID`, `下單渠道`, 1 AS `下單量`FROM `下單記錄流水表`) tGROUP BY t.`下單人ID`, t.`下單渠道`) t1LATERAL VIEW EXPLODE(array(t1.`下單渠道`, '不限')) t2 AS `下單渠道`GROUP BY t1.`下單人ID`, t2.`下單渠道`
) tt
GROUP BY tt.`下單渠道`

4.2 數組是否相等

數組的相等或不等,無法通過“=”來判斷,因此要嘗試一些其他的方法。最常用的辦法,就是轉成字符串再比較。

4.2.1 考慮順序是否一致

直接轉成字符串后,比較是否相等

4.2.2 不考慮順序是否一致

先排序,再轉成字符串,然后比較是否相等

原文鏈接

轉載于:https://my.oschina.net/u/1464083/blog/3019854

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/536845.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/536845.shtml
英文地址,請注明出處:http://en.pswp.cn/news/536845.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

java中匿名數組_Swagger UI:數組中的多個匿名對象

對象數組的定義如下:type: arrayitems:type: objectproperties:prop1:type: stringprop2:type: integer# etc.在您的示例中,響應包含具有屬性 balanceDisplaySettings 的對象,并且此屬性包含對象數組 . 這可以定義如下:paths:/Pat…

java ioutils 寫入文件_文件輸入輸出流工具: IOUtils使用總結

序言以前寫文件的復制很麻煩,需要各種輸入流,然后讀取line,輸出到輸出流...其實apache.commons.io里面提供了輸入流輸出流的常用工具方法,非常方便。下面就結合源碼,看看IOUTils都有什么用處吧!常用的靜態變…

權限組件(6):權限分配的角色管理

效果圖: 為了方便開發,先把中間件注釋掉,要不還要在角色-權限表中添加對應關系。又因為二級菜單和面包屑導航需要中間件的變量,所以要在layout.html里面把這兩個也注釋掉。setting.py# rbac.middlewares.rbac.RbacMiddleware layo…

java 面試700問_JAVA面試700問(一)

1、Java環境中的字節碼是什么?由Java 編譯器生成的一種代碼。由JVM生成的一種代碼。Java源文件(Java Source File)的別名。一種寫在類的實例方法中的代碼。答案:由Java 編譯器生成的一種代碼。2、什么是Java垃圾回收機制?操作系統周期性的刪除…

02-Django基礎知識

一、內容回顧 1、web應用程序 2、HTTP協議 a、http協議特性 b、http請求格式 c、http響應格式 3、wsgiref模塊 4、Django下載與簡單應用 a、Django簡介(MTV) b、下載django命令 c、創建項目命令 d、創建app應用 e、啟動項目   二、今日概要 1、路由層&…

java條碼大小_java - ML Kit條形碼掃描:無效的圖像數據大小

我想在捕獲的圖像中檢測條形碼。我使用android的camera2捕獲圖像。此后,將檢索圖像的元數據并將圖像保存到設備。元數據全部傳遞到下一個活動,該活動是應用程序嘗試檢測條形碼的地方。下一個活動是從先前保存的文件創建一個byte []。接下來,使…

MongoDB數據庫泄露8億電郵地址;微軟開源Windows計算器;Linux 5.0 Kernel發布丨Q新聞...

本周要聞:華為正式宣布起訴美國政府;360 首席安全官譚曉生宣布離職;阿里開源 Flutter 應用框架 Fish Redux;微軟開源 Windows 計算器;Linux 5.0 Kernel 發布;電郵驗證服務泄漏 8 億電郵地址;Chr…

mysql 視圖 分頁_mysql查看所有存儲過程,函數,視圖,觸發器,表,分頁

查詢數據庫中的存儲過程和函數方法一:select name from mysql.proc where db your_db_name and type PROCEDURE //存儲過程select name from mysql.proc where db your_db_name and type FUNCTION //函數方法二:show procedure status; //存儲過程sh…

postman里測試文件上傳(MultipartFile)

1、后臺方法: Override PostMapping("/importNumberSpaceData") public DataImportOutDTO importNumberSpaceData(MultipartFile file) throws Exception { return dataImportOutDTO; } 2、啟用postman 1、POST方法; 2、Body-form-data,key為后…

java解析上的jar包里的pom_Maven引入本地Jar包并打包進War包中的方法

1.概述在平時的開發中,有一些Jar包因為種種原因,在Maven的中央倉庫中沒有收錄,所以就要使用本地引入的方式加入進來。2. 拷貝至項目根目錄項目根目錄即pom.xml文件所在的同級目錄,可以在項目根目錄下創建文件夾lib,如下…

持續集成之 Spring Boot 實戰篇

本文作者: CODING 用戶 - 何健 這次實戰篇,我們借助「CODING 持續集成」,實現一個簡單的 Spring Boot 項目從編碼到最后部署的完整過程。本教程還有 B 站視頻版,幫助讀者更好地學習理解。 思路 在線上環境構建、測試、部署 這種情…

java靜態工廠方法模式_設計模式:簡單工廠模式(靜態工廠方法模式)

簡單工廠的構成包括三個角色:1)抽象產品類2)具體產品類(繼承抽閑產品類)3)工廠類(生產具體產品)具體代碼實現1、抽象產品類/*** 抽象類*/public abstract class Car {/*** 產品抽象方法,將會由具體產品類實現*/public abstract void driving();}2、具體產…

Kibana中的Coordinate Map地圖報索引錯誤的問題

今天做地圖定位展示,展示的是ApacheWeb服務器的訪問日志文件中的來源IP。但是中間出現了報錯環節,說是索引不能匹配到geo_point類型,實在是不懂這是在說什么,后來在網站找了方法就解決了。主要報錯如下: 報錯信息&…

mysql數據庫安裝在unix_Linux下的數據庫二:在Linux/Unix平臺安裝MySQL

推薦使用RPM工具來進行Linux下的MySQL數據庫安裝。目前的MySQLrpm安裝文件包是在SuSE Linux7.3系統平臺上打造而成的,但是在絕大多數支持RPM和glibc的其他Linux平臺中也可以進行安裝。如果選擇通用的RPM安裝包,那么RPM將靜態鏈接到Linux的線程中。下面步…

mysql時區設置gmt_將MySQL數據庫時區設置為GMT

不,不可能在MySQL實例中更改單個數據庫的時區.您可以檢索服務器和客戶端time_zone設置:SELECT global.time_zone, session.time_zone;您還可以更改整個MySQL實例的客戶端時區或時區.但要敏銳地了解現有客戶端連接的含義,以及如何解釋已存儲在實例中的DATETIME和TIME…

javaSE知識點匯總

javaSE知識點匯總Java基礎知識精華部分寫代碼:1,明確需求。我要做什么?2,分析思路。我要怎么做?1,2,3。3,確定步驟。每一個思路部分用到哪些語句,方法,和對象。4,代碼實現…

java中412是什么錯_HTTP 412 錯誤 – 先決條件失敗 (Precondition failed)

HTTP 412 錯誤 – 先決條件失敗 (Precondition failed)介紹您的 Web 服務器認為,該服務器檢測到客戶端發送的 HTTP 數據流包括一個沒有滿足的‘先決條件’規范。HTTP 循環中的 412 錯誤任何客戶端 ( 例如您的瀏覽器或我們的 CheckUpDown 機器人 ) ,都需要…

細談頁面回流與重繪

你將了解到: 什么是回流 什么是重繪 回流何時發生 重繪何時發生 如何避免回流和重繪 復制代碼帶著上面的問題,我們一探究竟 什么是回流 回流:英文是reflow 當render tree中的一部分(或全部),因為元素的規模尺寸、布局、隱藏等改變…

安卓 java中改布局_android-選項卡布局中的地圖視圖throwing,java....

我創建了一個具有選項卡布局的應用程序,單擊選項卡后,我將打開一個使用Web視圖的新活動.另外另一個選項卡使用地圖視圖,列表視圖,圖像視圖.現在,我在Samsung Galaxy Y上安裝了我的應用程序-運行正常.當我在Samsung Galaxy Tab 2上安裝相同的應用程序時,當我第一次打開地圖視圖,…

怎么樣修改PuTTY的默認字體和字符集

1.在窗口標題上點擊右鍵,選擇 Change Settings...2.在打開的配置窗口左邊選擇 Appearance,在右邊點 Font settings 里面的 Change 按鈕,選擇好中文字體,比如:宋體、新宋體之類的3.選擇配置窗口左邊的 Translation&…