\\\看新聞很累?看技術新聞更累?試試下載InfoQ手機客戶端,每天上下班路上聽新聞,有趣還有料!
\
分布式計算技術和工具開發商Hazelcast正式發布了他們的開源流式處理引擎Jet 0.6。
\\Jet自2017年2月起就已可用,而0.6是Hazelcast版本方案的主要發布版本。
\\Jet旨在提供一種功能,讓開發人員在各種數據源之上構建分布式容錯數據處理管道。它使用Hazelcast IMDG作為內部數據管理技術,并以Hazelcast的內存計算技術作為基礎。Hazelcast將Jet描述為:“讓大數據成為應用程序基礎設施的一部分”。
\\與Hazelcast的其他產品一樣,Jet也是基于Java開發的,并且直接針對Java開發人員和團隊。Jet的核心API中包含了java.util.stream的分布式版本,讓剛開始接觸分布式處理的Java開發人員更容易上手。
\\Jet 0.6的新功能和增強功能包括:
\\- 改進和簡化的高級API(管道)\\
- 改進的作業管理功能\\
- 計算彈性\\
- 新的連接器——Kafka v1.0和HDFS v2.8.3\\
- Java 9支持(包括模塊)\\
- Spring集成\\
- 示例和演示代碼\
該聲明還表明,Jet內嵌了Hazelcast IMDG v3.10。這個版本尚未發布,但預計很快會發布。
\\Jet的部署拓撲結構與Hazelcast IMDG提供的選項類似——Jet可以嵌入到JVM應用程序中,也可以獨立運行在基礎設施上。
\\在內部,Jet將分布式計算作業表示為有向無環圖(DAG),并使用協作多線程(又稱“綠色線程”)和并發隊列來實現低延遲。Jet的設計靈感來自Martin Thompson和他的“Mechanical Sympathy”,以及無等待算法。
\\該團隊宣稱,相比其他類似技術,如Apache Spark,Jet的0.6版本在性能上有顯著的提升。
\\Jet版本0.6已經發布,可以從Hazelcast網站(https://jet.hazelcast.org/)下載,并在Apache 2許可下使用。
\\查看英文原文:Hazelcast Releases Jet 0.6