通用加載與保存方式
加載數據：Spark-SQL的?spark.read.load?是通用加載方法，借助?format?指定數據格式，如?csv?、?jdbc?、?json?等；?load?用于指定數據路徑；?option?在?jdbc?格式時傳入數據庫連接參數。此外，還能直接在文件上利用?spark.sql?進行查詢，簡化了數據讀取流程。
保存數據：?df.write.save?是通用保存方法，同樣用?format?指定格式，?save?確定保存路徑，?option?設置?jdbc?參數 。通過?mode?可選擇?SaveMode?，如?ErrorIfExists?（默認，文件存在時拋異常）、?Append?（追加）、?Overwrite?（覆蓋）、?Ignore?（忽略），靈活處理數據保存場景。
特定格式數據操作
Parquet格式：作為Spark-SQL默認數據源，Parquet以列式存儲嵌套數據，高效且方便。加載時直接使用?spark.read.load?指定文件路徑；保存時，若要更改默認數據源格式，可修改?spark.sql.sources.default?配置項。
JSON格式：Spark-SQL能自動推斷JSON數據集結構并加載為?Dataset[Row]?。需注意，讀取的JSON文件每行應為獨立JSON串。加載后可創建臨時表，方便使用SQL語句查詢數據。
CSV格式：讀取CSV文件時，可通過?format("csv")?結合?option?配置，如設置分隔符?sep?、自動推斷數據類型?inferSchema?、指定首行為表頭?header?，實現靈活的數據讀取。
MySQL操作：借助JDBC，Spark-SQL可與MySQL交互。首先要導入?mysql-connector-java?依賴，讀取數據有多種方式，如使用?format("jdbc")?結合?option?設置連接參數，或通過?Properties?對象傳遞參數。寫入數據時，先將數據轉換為?Dataset?，再配置連接參數和保存模式寫入MySQL。
學習收獲與應用展望
知識技能提升：系統學習了Spark-SQL數據加載與保存的多種方式，掌握了不同數據格式的特點和處理技巧，理解了JDBC在數據庫交互中的應用，提升了數據處理編程能力。
應用場景拓展：這些技能在大數據處理場景中應用廣泛，如ETL（Extract, Transform, Load）流程中數據的讀取和存儲、數據分析中從多種數據源獲取數據等。未來在處理海量結構化數據時，能運用所學優化數據處理流程，提高處理效率。