ORC（Optimized Row Columnar）是Hadoop生態系統中一種高效的列式存儲文件格式，其主要特性包括高效壓縮、快速讀取、以及能夠存儲結構化數據。本文將展示如何使用Java編寫代碼來生成和讀取ORC文件。

一、ORC文件介紹

ORC是一種為Hadoop生態系統優化的列式存儲格式，具有以下優勢：

• 高效壓縮：ORC文件支持多種壓縮算法，如Snappy、Zlib等，可以顯著減少存儲空間。

• 快速讀取：列式存儲使得ORC文件能夠快速讀取特定列的數據，而無需讀取整個行。

• 結構化數據支持：ORC文件可以存儲復雜的結構化數據，如嵌套結構、列表和映射等。

二、生成ORC文件

1. 添加依賴

在生成ORC文件前，您需要確保項目中包含了ORC庫的依賴。如果您使用的是Maven，可以在pom.xml文件中添加以下依賴：

<dependency><groupId>org.apache.orc</groupId><artifactId>orc-core</artifactId><version>1.8.3</version>
</dependency>

2. 定義schema

在生成ORC文件之前，您需要定義數據的schema。schema定義了數據的結構，包括列的名稱和類型。例如，以下是一個包含整數和字符串列的schema定義：

TypeDescription schema = TypeDescription.createStruct().addField("int_value", TypeDescription.createInt()).addField("string_value", TypeDescription.createString());

3. 創建writer

使用OrcFile.createWriter方法創建一個writer對象，用于將數據寫入ORC文件。例如：

Path path = new Path("/path/to/output.orc");
Writer wr