1、表結構變更概述

在Spark on Hive架構中，表結構（Schema）變更是一個常見且重要的操作。理解其背景、使用場景以及具體方式對于大數據平臺管理至關重要

1.1、Spark on Hive元數據管理

• Hive Metastore（HMS）： 核心組件。它是一個獨立的關系型數據庫（如MySQL、PostgreSQL），存儲了Hive表、分區、列、數據類型、存儲位置等元數據信息
• Spark： Spark本身不存儲元數據。當Spark需要處理Hive表時，它通過HMS連接到Hive Metastore數據庫，獲取表的元數據（Schema、分區、文件位置等）
• Spark on Hive： 指Spark被配置為使用Hive的Metastore服務。這意味著：
  • Spark可以讀取Hive中定義的表
  • Spark可以創建表，并將元數據寫入Hive Metastore，使得這些表也能被Hive或其他配置了相同Metastore的工具訪問
  • SparkSQL的CREATE/ALTER TABLE等DDL語句實質上是通過Spark向Hive Metastore發出操作指令，由Hive Metastore執行元數據變更

1.2、表結構變更的背景

• 1）業務需求演進
  • 新增業務指標需要記錄新的字段
  • 業務邏輯變化，業務口徑改變
• 2）數據模型優化
  • 調整數據類型以提高存儲效率或計算精度（例如STRING改為TIMESTAMP用于時間計算，INT改為BIGINT防止溢出）
  • 添加分區字段以大幅提升特定查詢性能和管理效率
  • 添加分桶字段優化JION和采樣性能
• 3）數據治理
  • 添加列注釋、表注釋，以提高可理解性
  • 執行新的貫標，使數據符合新的標準和規范
• 4）錯誤修正
  • 初次建表時定義有誤（列名寫錯、數據類型選錯等）

1.3、表結構變更的常見操作

• 添加列 (ADD COLUMN)： 在表末尾添加新列，通常對現有數據無影響
• 刪除列 (DROP COLUMN)： 移除不再需要的列，在Hive中，這通常只對元數據操作，物理數據文件中的舊數據可能不會立即刪除，Spark讀取時將忽略這些被刪除列的數據
• 重命名列 (RENAME/CHANGE COLUMN)： 修改列名，需要更新所有引用舊列名的查詢和作業
• 修改列數據類型 (CHANGE COLUMN)： 更改現有列的數據類型，風險較高，必須確保現有數據能安全轉換為新類型，否則查詢可能失敗或數據損壞，Spark/Hive不會自動轉換現有文件中的數據
• 修改列順序 (CHANGE COLUMN