前言

在大數據領域，Hive是一種常用的數據倉庫工具，用于管理和處理大規模數據集。Hive底層支持多種數據存儲格式，這些格式對于數據存儲、查詢性能和壓縮效率等方面有不同的優缺點。本文將介紹Hive底層的三種主要數據存儲格式：文本文件格式、Parquet格式和ORC格式。

一、三種存儲格式

1. 文本文件格式：文本文件格式是最基本的數據存儲格式之一，它以純文本方式存儲數據，每一行表示一條記錄。這種格式簡單易用，適用于各種類型的數據，但由于沒有壓縮和優化，它的存儲效率相對較低。同時，在查詢性能方面，由于數據沒有被結構化，可能會出現較慢的查詢速度。

2. Parquet格式：Parquet是一種列式存儲格式，它將數據按列進行存儲，相同類型的數據被存儲在一起，利于數據壓縮和編碼。這種格式在存儲大規模數據時非常高效，可以大幅減少存儲空間，并提高查詢性能。由于Hive支持謂詞下推優化，Parquet格式可以更好地利用這一特性，使得查詢更快速。在一個 Parquet 類型的 Hive 表文件中，數據被分成多個行組，每個列塊又被拆分成若干的頁（Page），如下圖所示：

Parquet 在存儲數據時，元數據也同 Parquet 的文件結構一樣，被分成多層文件級別的元數據、列塊級別的元數據及頁級別的元數據。