文章目錄

Spark框架及特點

一、Spark框架介紹

二、Spark計算框架具備以下特點

---

Spark框架及特點

一、Spark框架介紹

Apache Spark 是一個專為大規模數據處理而設計的快速、通用的計算引擎。最初由加州大學伯克利分校的 AMP 實驗室（Algorithms, Machines, and People Lab）開發，并于 2010 年開源，2014 年成為 Apache 頂級項目。Spark 的誕生旨在突破傳統 Hadoop MapReduce 在迭代計算和內存利用上的局限性，與 MapReduce 不同，Spark 可以將作業中間結果緩存于內存中，減少對磁盤的讀寫操作，因此在需要多次迭代計算的數據處理場景（如數據挖掘和機器學習）中表現出色。

Spark官網地址：https://spark.apache.org/

二、Spark計算框架具備以下特點

• 處理數據速度快

與 MapReduce 每個任務都需要將中間結果寫入磁盤不同，Spark 能夠將作業中間數據緩存于內存中，得益于內存計算和優化的查詢執行方式，Spark 在內存中的運算速度比 Hadoop 的 MapReduce 快 100 倍，在磁盤上的速度也快 10 倍。

• 簡單易用

Spark在處理數據過程中提供了幾十個豐富的高級API(算子操作)，這些高級API大大降低了編程的復雜度。

• 多語言支持

Spark 底層使用 Scala 編寫，開發者可以使用 Scala、Java、Python、SQL 和 R 等語言進行編程，滿足不同開發者的需求。

• 豐富的生態系統

Spark 擁有多個功能強大的模塊，通過這些模塊可以處理結構/非結構數據、API/SQL處理批量/流式數據、機器學習、圖計算，使 Spark 能夠處理多種復雜數據處理任務。

• 支持多模式運行部署

Spark 可以在單機、小型集群甚至上千節點的分布式環境中高效運行。它能夠與多種集群管理器（如 Standalone、YARN、Mesos、Kubernetes）和分布式存儲系統（如 HDFS、Amazon S3 等）無縫集成，適應不同規模的數據處理需求。

---

• 📢博客主頁：https://lansonli.blog.csdn.net
• 📢歡迎點贊 👍 收藏 ?留言 📝 如有錯誤敬請指正！
• 📢本文由 Lansonli 原創，首發于 CSDN博客🙉
• 📢停下休息的時候不要忘了別人還在奔跑，希望大家抓緊時間學習，全力奔赴更美好的生活??