Alluxio學習

介紹

????Alluxio（之前名為Tachyon）是世界上第一個以內存為中心的虛擬的分布式存儲系統。它統一了數據訪問的方式，為上層計算框架和底層存儲系統構建了橋梁。應用只需要連接Alluxio即可訪問存儲在底層任意存儲系統中的數據。此外，Alluxio的以內存為中心的架構使得數據的訪問速度能比現有常規方案快幾個數量級。

????在大數據生態系統中，Alluxio介于計算框架(如Apache Spark，Apache MapReduce，Apache HBase，Apache Hive，Apache Flink)和現有的存儲系統（如Amazon S3，OpenStack Swift，GlusterFS，HDFS，MaprFS，Ceph，NFS，OSS）之間。Alluxio為大數據軟件棧帶來了顯著的性能提升。Alluxio與Hadoop是兼容的。現有的數據分析應用，如Spark和MapReduce程序，可以不修改代碼直接在Alluxio上運行。

? ? Alluxio是中國人開發的，好處就是中文文檔很齊全，方便大家入門，具體科普就不做了，看官方入口。

Alluxio 是一個高容錯的分布式文件系統，允許文件以內存的速度在集群框架中進行可靠的共享，類似Spark和 MapReduce。

通過利用lineage信息，積極地使用內存，Alluxio的吞吐量要比HDFS高300多倍。

Alluxio都是在內存中處理緩存文件，并且讓不同的 Jobs/Queries以及框架都能內存的速度來訪問緩存文件。

特性：

• 類 Java 的文件 API

• 兼容性：實現 Hadoop 文件系統接口

• 可插入式的底層文件系統

• 內建 Raw 原生表的支持

• 基于 Web 的 UI?

• 提供命令行接口