一、核心概念與演進背景

1.1 RDD（彈性分布式數據集）

• 定義：RDD 是 Spark 最早的核心抽象（1.0版本引入），代表不可變、分區的分布式對象集合，支持函數式編程和容錯機制。
• 特點：
  • 無結構化信息：僅存儲對象本身，無法自動感知數據內部結構（如字段名、類型）。
  • 編譯時類型安全：通過泛型支持靜態類型檢查（如 RDD[Person]）。
  • 高靈活性：支持任意可序列化對象，適用于非結構化數據處理。

1.2 DataFrame

• 定義：DataFrame 是 Spark 1.3 引入的結構化抽象，本質是 Dataset[Row]，以命名列形式組織數據，類似關系型數據庫表。
• 特點：
  • 結構化 Schema：顯式定義列名和類型（如 name:String, age:Int），支持 SQL 查詢和優化。
  • 執行優化：通過 Catalyst 優化器自動生成高效執行計劃（如謂詞下推、列裁剪）。
  • 內存管理：使用堆外存儲和 Tungsten 二進制格式，減少 GC 開銷。

1.3 Dataset

• 定義：Dataset 是 Spark 1.6 推出的強類型 API，結合 RDD 的類型安全與 DataFrame 的執行優化。
• 特點：
  • 類型安全：編譯時檢查數據字段類型（如 Dataset[Person]），避免運行時錯誤。
  • 統一接口：兼容 RDD 的操作函數（如 map）和 DataFrame 的 SQL 查詢。
  • 編碼器優化：通過 Encoder 實現 JVM 對象與二進制格式的高效轉換。

---

二、關鍵差異對比

2.1 數據表示與結構

特性	RDD	DataFrame	Dataset
數據結構	無 Schema，泛型對象	有 Schema，Row 對象	有 Schema，強類型對象
類型安全	編譯時安全	運行時檢查	編譯時安全
序列化	Java 序列化（高開銷）	Tungsten 二進制格式	Encoder 優化格式
適用數據	結構化/非結構化	結構化/半結構化	結構化/半結構化

2.2 性能優化

• RDD：因頻繁創建臨時對象導致 GC 壓力大，需手動優化分區和持久化策略。
• DataFrame/Dataset：
  • Catalyst 優化器：自動優化邏輯計劃（如過濾下推、聚合優化）。
  • Tungsten 引擎：堆外內存管理和代碼生成技術提升計算速度。
  • 統計剪枝：利用數據統計信息跳過無關分區（如 Parquet 文件的最大值/最小值）。

2.3 API 與編程模型

• RDD：函數式編程（如 map, filter），適合復雜業務邏輯。
• DataFrame：聲明式 SQL 語法（如 select("name").where("age>30")），適合結構化分析。
• Dataset：混合模式，支持 Lambda 函數與 SQL 表達式（如 ds.filter(p => p.age > 30)）。

---

三、適用場景與選擇建議

3.1 根據數據特征選擇

3.1.1 結構化數據（JSON/CSV/Parquet等）

• 推薦抽象：DataFrame/Dataset
• 案例說明：
  某電商平臺需要分析用戶行為日志（JSON格式），使用spark.read.json()創建DataFrame后，可直接通過SQL語法進行聚合查詢（如計算每日UV）。DataFrame的自動模式發現特性可自動解析JSON結構，Catalyst優化器會對groupBy操作進行查詢優化。

3.1.2 半結構化數據（日志文件/XML）

• 推薦抽象：RDD + DataFrame組合
• 案例說明：
  處理服務器原始日志時，先用RDD進行初步清洗（如正則提取關鍵字段），再通過.toDF()轉為DataFrame進行結構化分析。這種混合模式既能處理不規則數據，又能利用DataFrame的優化性能。

3.1.3 非結構化數據（文本流/二進制）

• 推薦抽象：RDD
• 案例說明：
  圖像處理任務中，使用sc.binaryFiles()讀取圖片文件生成RDD，通過自定義map函數實現像素矩陣轉換。