SparkStreaming在實時處理的兩個場景示例

簡介

Spark Streaming是Apache Spark生態系統中的一個組件，用于實時流式數據處理。它提供了類似于Spark的API，使開發者可以使用相似的編程模型來處理實時數據流。

Spark Streaming的工作原理是將連續的數據流劃分成小的批次，并將每個批次作為RDD（彈性分布式數據集）來處理。這樣，開發者可以使用Spark的各種高級功能，如map、reduce、join等，來進行實時數據處理。Spark Streaming還提供了內置的窗口操作、狀態管理、容錯處理等功能，使得開發者能夠輕松處理實時數據的復雜邏輯。

Spark Streaming支持多種數據源，包括Kafka、Flume、HDFS、S3等，因此可以輕松地集成到各種數據管道中。它還能夠與Spark的批處理和SQL引擎進行無縫集成，從而實現流式處理與批處理的混合使用。
在這里插入圖片描述

本文以 TCP、kafka場景講解spark streaming的使用

消息隊列下的信息鋪抓

類似消息隊列的有redis、kafka等核心組件。
本文以kafka為例，向kafka中實時抓取數據，

pom.xml中添加以下依賴

<dependencies><!-- Spark Core --><dependency><groupId>org.apache.spark</groupId><artifactId>spark-core_2.12</artifactId><version>3.2.0</version></dependency><!-- Spark Streaming --><dependency><groupId>org.apache.spark</groupId><artifactId>spark-streaming_2.12</artifactId><version>3.2.0</version></dependency><!-- Spark SQL --><dependency><groupId>org.apache.spark</groupId><artifactId>spark-sql_2.12</artifactId><version>3.2.0</version></dependency><!-- Kafka --><dependency><groupId>org.apache.kafka</groupId><artifactId>kafka-clients</artifactId><version>2.8.0</version></dependency><!-- Spark Streaming Kafka Connector --><dependency><groupId>org.apache.spark</groupId><artifactId>spark-streaming-kafka-0-10_2.12</artifactId><version>3.2.0</version></dependency><!-- PostgreSQL JDBC --><dependency><groupId>org.postgresql</groupId><artifactId>postgresql</artifactId><version>42.2.24</version></dependency>
</dependencies>

創建項目編寫以下代碼實現功能

package org.example;import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.function.VoidFunction;
import org.apache.spark.sql.*;
import org.apache.spark.sql.types.DataTypes;
import org.apache.spark.sql.types.StructType;
import org.apache.spark.streaming.Duration;
import org.apache.spark.streaming.api.java.JavaDStream;
import org.apache.spark.streaming.api.java.JavaStreamingContext;
import org.apache.spark.streaming.kafka010.ConsumerStrategies;
import org.apache.spark.streaming.kafka010.KafkaUtils;
import org.apache.spark.streaming.kafka010.LocationStrategies;
import org.apache.kafka.common.serialization.StringDeserializer;import java.util.*;public class SparkStreamingKafka {public static void main(String[] args) throws InterruptedException {// 創建 Spark 配置SparkConf sparkConf = new SparkConf().setAppName("spark_kafka").setMaster("local[*]").setExecutorEnv("setLogLevel", "ERROR");//設置日志等級為ERROR，避免日志增長導致的磁盤膨脹// 創建 Spark Streaming 上下文JavaStreamingContext streamingContext = new JavaStreamingContext(sparkConf, new Duration(2000)); // 間隔兩秒撲捉一次// 創建 Spark SQL 會話SparkSession sparkSession = SparkSession.builder().config(sparkConf).getOrCreate();// 設置 Kafka 相關參數Map<String, Object> kafkaParams = new HashMap<>();kafkaParams.put("bootstrap.servers", "10.0.0.105:9092,10.0.0.106:9092,10.0.0.107:9092");kafkaParams.put("key.deserializer", StringDeserializer.class);kafkaParams.put("value.deserializer", StringDeserializer.class);kafkaParams.put("auto.offset.reset", "earliest");// auto.offset.reset可指定參數有// latest：從分區的最新偏移量開始讀取消息。// earliest：從分區的最早偏移量開始讀取消息。// none：如果沒有有效的偏移量，則拋出異常。kafkaParams.put("enable.auto.commit", true);  //采用自動提交offset 的模式kafkaParams.put("auto.commit.interval.ms",2000);//每隔離兩秒提交一次commited-offsetkafkaParams.put("group.id", "spark_kafka"); //消費組名稱// 創建 Kafka streamCollection<String> topics = Collections.singletonList("spark_kafka"); // Kafka 主題名稱JavaDStream<ConsumerRecord<String, String>> kafkaStream = KafkaUtils.createDirectStream(streamingContext,LocationStrategies.PreferConsistent(),ConsumerStrategies.Subscribe(topics, kafkaParams)  //訂閱kafka);//定義數據結構StructType schema = new StructType().add("key", DataTypes.LongType).add("value", DataTypes.StringType);kafkaStream.foreachRDD((VoidFunction<JavaRDD<ConsumerRecord<String, String>>>) rdd -> {// 轉換為 DataFrameDataset<Row> df = sparkSession.createDataFrame(rdd.map(record -> {return RowFactory.create(record.offset(), record.value());  //將偏移量和value聚合}), schema);// 寫入到 PostgreSQLdf.write()//選擇寫入數據庫的模式.mode(SaveMode.Append)//采用追加的寫入模式//協議.format("jdbc")//option 參數.option("url", "jdbc:postgresql://localhost:5432/postgres") // PostgreSQL 連接 URL//確定表名.option("dbtable", "public.spark_kafka")//指定表名.option("user", "postgres") // PostgreSQL 用戶名.option("password", "postgres") // PostgreSQL 密碼.save();});// 啟動 Spark StreamingstreamingContext.start();// 等待 Spark Streaming 應用程序終止streamingContext.awaitTermination();}
}

在執行代碼前，向創建名為spark_kafka的topic

kafka-topics.sh --create --topic spark_kafka --bootstrap-server 10.0.0.105:9092,10.0.0.106:9092,10.0.0.107:9092

向spark_kafka 主題進行隨機推數

kafka-producer-perf-test.sh --topic spark_kafka --thrghput 10 --num-records 10000 --record-size 100000 --producer-props bootstrap.servers=10.0.0.105:9092,10.0.0.106:9092,10.0.0.107:9092

運行過程中消費的offset會一直被提交到每一個分區
在這里插入圖片描述

此時在數據庫中查看，數據已經實時落地到庫中
在這里插入圖片描述

TCP

TCP環境下，實時監控日志的輸出，可用于監控設備狀態、環境變化等。當監測到異常情況時，可以實時發出警報。

package org.example;import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.function.VoidFunction;
import org.apache.spark.sql.*;
import org.apache.spark.sql.types.DataTypes;
import org.apache.spark.sql.types.StructType;
import org.apache.spark.streaming.Duration;
import org.apache.spark.streaming.api.java.JavaDStream;
import org.apache.spark.streaming.api.java.JavaStreamingContext;
import org.apache.spark.streaming.kafka010.ConsumerStrategies;
import org.apache.spark.streaming.kafka010.KafkaUtils;
import org.apache.spark.streaming.kafka010.LocationStrategies;
import org.apache.kafka.common.serialization.StringDeserializer;import java.util.*;public class SparkStreamingKafka {public static void main(String[] args) throws InterruptedException {// 創建 Spark 配置SparkConf sparkConf = new SparkConf().setAppName("spark_kafka") // 設置應用程序名稱.setMaster("local[*]") // 設置 Spark master 為本地模式，[*]表示使用所有可用核心// 設置日志等級為ERROR，避免日志增長導致的磁盤膨脹.setExecutorEnv("setLogLevel", "ERROR");// 創建 Spark Streaming 上下文JavaStreamingContext streamingContext = new JavaStreamingContext(sparkConf, new Duration(2000)); // 間隔兩秒撲捉一次// 創建 Spark SQL 會話SparkSession sparkSession = SparkSession.builder().config(sparkConf).getOrCreate();// 設置 Kafka 相關參數Map<String, Object> kafkaParams = new HashMap<>();kafkaParams.put("bootstrap.servers", "10.0.0.105:9092,10.0.0.106:9092,10.0.0.107:9092"); // Kafka 服務器地址kafkaParams.put("key.deserializer", StringDeserializer.class); // key 反序列化器類kafkaParams.put("value.deserializer", StringDeserializer.class); // value 反序列化器類kafkaParams.put("auto.offset.reset", "earliest"); // 從最早的偏移量開始消費消息kafkaParams.put("enable.auto.commit", true);  // 采用自動提交 offset 的模式kafkaParams.put("auto.commit.interval.ms", 2000); // 每隔兩秒提交一次 committed-offsetkafkaParams.put("group.id", "spark_kafka"); // 消費組名稱// 創建 Kafka streamCollection<String> topics = Collections.singletonList("spark_kafka"); // Kafka 主題名稱JavaDStream<ConsumerRecord<String, String>> kafkaStream = KafkaUtils.createDirectStream(streamingContext,LocationStrategies.PreferConsistent(),ConsumerStrategies.Subscribe(topics, kafkaParams)  // 訂閱 Kafka);// 定義數據結構StructType schema = new StructType().add("key", DataTypes.LongType).add("value", DataTypes.StringType);kafkaStream.foreachRDD((VoidFunction<JavaRDD<ConsumerRecord<String, String>>>) rdd -> {// 轉換為 DataFrameDataset<Row> df = sparkSession.createDataFrame(rdd.map(record -> {return RowFactory.create(record.offset(), record.value());  // 將偏移量和 value 聚合}), schema);// 寫入到 PostgreSQLdf.write()// 選擇寫入數據庫的模式.mode(SaveMode.Append) // 采用追加的寫入模式// 協議.format("jdbc")// option 參數.option("url", "jdbc:postgresql://localhost:5432/postgres") // PostgreSQL 連接 URL// 確定表名.option("dbtable", "public.spark_kafka") // 指定表名.option("user", "postgres") // PostgreSQL 用戶名.option("password", "postgres") // PostgreSQL 密碼.save();});// 啟動 Spark StreamingstreamingContext.start();// 等待 Spark Streaming 應用程序終止streamingContext.awaitTermination();}
}

在10.0.0.108 打開9999端口鍵入數值，使其被spark接收到并進行運算