本文重點
本文將通過一個統計詞頻的小程序來看一下flink是如何對數據進行批處理的,需要聲明的是,一般我們使用Flink常常用于流式處理,即使是有界的數據,我們也將其看成是無界數據進行流式處理,所以批量處理并不是很常用,這里只是為了了解一下Flink是如何進行批處理的。
Flink流程序的基本構成
一個 Flink 程序,其實就是對 DataStream 的各種轉換。具體來說,代碼基本上都由以下幾 部分構成:
? 獲取執行環境(execution environment
? 讀取數據源(source)
? 定義基于數據的轉換操作(transformations)
? 定義計算結果的輸出位置(sink)
? 觸發程序執行(execute)
其中,獲取環境和觸發執行,都可以認為是針對執行環境的操作。