Scala
1. Slaca的發展過程
由洛桑聯邦理工學院的馬丁 · 奧德斯在 2001 年基于 Funnel 的工作開始設計,設計初衷是想集成面向對象編程和函數式編程的各種特性。
Scala 是一種純粹的面向對象的語言,每個值都是對象。 Scala 也是一種函數式語言,因此函數可以當成值使用。
2. Scala是什么
Scala是一門現代的多范式編程語言 ,運行于IAVA平臺(JVM,JAVA虛擬機)并兼容現有的JAVA程序。
?
3. Scala的特點
① Scala具備強大的并發性,支持函數式編程,可以更好地支持分布式系統。
② Scala語法簡潔,能提供優雅的API。
③ Scala兼容Java,運行速度快,且能融合到Hadoop生態圈中。
?
4. Scala的特性
?
1.面向對象
?
2.函數式編程
?
3.靜態類型
?
4.可拓展
?
Spark
1.Spark是什么
Spark 是當今大數據領域最活躍、最熱門、最高效的大數據通用計算平臺之一。
?
2.Spark發展歷程概述
第一階段:Spark最初由美國加州伯克利大學( UC Berkelcy)的AMP實驗室于2009年開發,是基于內存計算的大數據并行計算框架,可用于構建大型的、低延遲的數據分析應用程序
?
第二階段:2013年Spark加入Apache孵化器項日后發展迅猛,如今已成為Apache軟件基金會最重要的三大分布式計算系統開源項目之一( Hadoop磁盤MR離線式、Spark基于內存實時數據分析框架、Storm數據流分析框架 )
?
第三階段:
?
?
?
3.Spark的特點
①快速
?
一般情況下,對于迭代次數較多的應用程序,Spark程序在內存中的運行速度是Hadoop MapReduce運行速度的100多倍,在磁盤上的運行速度是Hadoop MapReduce運行速度的10多倍。