核心思想

• 分而治之：將大規模的數據處理任務分解成多個可以并行處理的子任務，然后將這些子任務分配到不同的計算節點上進行處理，最后將各個子任務的處理結果合并起來，得到最終的結果。

工作流程

• Map 階段：
  • 輸入數據被分割成多個小塊，每個小塊作為一個獨立的任務由不同的 Map 任務處理。
  • Map 函數將輸入數據轉換為鍵值對形式，并對鍵值對進行處理，生成中間結果。
• Shuffle 階段：
  • 對 Map 階段產生的中間結果進行分區、排序和合并等操作，將具有相同鍵的鍵值對發送到同一個 Reduce 任務中進行處理。
• Reduce 階段：
  • Reduce 函數對收到的具有相同鍵的中間結果進行匯總、計算等操作，最終生成處理后的結果。

優點

• 易于編程：程序員只需實現 Map 和 Reduce 函數，無需關注分布式計算的底層細節，如任務調度、數據傳輸等，降低了分布式編程的難度。
• 高可擴展性：可以方便地通過增加計算節點來擴展系統的處理能力，以應對不斷增長的數據量和計算需求。
• 高容錯性：當計算節點出現故障時，系統能夠自動重新分配任務到其他正常節點上執行，保證任務的順利完成，不會因為個別節點的故障而影響整個計算過程。
• 適合大規模數據處理：能夠高效地處理海量數據，通過并行計算充分利用集群的計算資源，大大提高數據處理的效率。