1. 什么是數據傾斜？

????????在分布式計算場景下，大量的數據集中在某一個節點而導致一個任務的執行時間變長。而大量的節點只處理了小部分的數據，大數據組件處理海量數據的特點就是不患多，而患不均。

2. 怎么發現任務出現了數據傾斜現象

????????在yarn上可以查看task的執行情況，如果一個階段中有些task很快執行完了，有些task遲遲無法結束或者運行時間減少，則大概率出現了數據傾斜的現象。

3. 描述1個數據傾斜的情景，針對這個情景給出解決方案

情景1：select count(distinct user_id) from t_user;

為什么：如果存在大量相同的user_id，而在count的時候會因為大量相同的user_id集中在同一個reducetask中，導致數據傾斜

解決方案：

1) 設置提高reduceTask的個數

2) select count(*) from(select sex from t_person group by sex) t1;

情景2：在group by分組的時候，某個key過多；

解決方案：將 key 打散

1. 給 key 增加隨機前綴

   在進行 group by 之前，先給每個 user_id 增加一個隨機前綴，使得原本相同的 user_id 被打散到不同的分組中。

2. 按帶前綴的 key 進行分組

   對帶有隨機前綴的 user_id 進行分組和聚合。

3. 去掉前綴后再分組

   在第一步的基礎上，去掉前綴，再進行一次分組和聚合，得到最終的結果。

情況3：在join表連接的時候課可能出現數據傾斜

解決方案：mapjoin ；大表打散、小表擴容；smbjoin

????????大表打散：大表打散是指將大表中的數據打散到多個分區或分桶中，以均衡各節點的負載。這通常通過在大表上引入一個隨機分布的哈希值或對數據進行重新分區來實現。

? ? ? ? 小表擴容：小表擴容是指將小表的數據復制到多個節點上，以避免在連接操作中出現數據傾斜的問題。通常，小表會被廣播到所有計算節點，以確保每個節點都能本地訪問小表數據。

? ? ? ? 總結：

????????大表打散：通過添加隨機分區鍵和重新分區，將大表數據均勻分布到多個節點。
????????小表擴容：將小表廣播到所有節點，確保連接操作時各節點能本地訪問小表數據，避免數據傾斜。