?
?
在大數據處理領域，Spark-Streaming是一個強大的實時流處理框架，而Kafka作為高性能的分布式消息隊列，二者結合能實現高效的數據處理。今天就來聊聊Spark-Streaming中從Kafka數據源創建DStream的相關知識。
?
早期，Spark-Streaming通過ReceiverAPI從Kafka接收數據。這種方式需要專門的Executor接收數據再轉發給其他Executor計算。但問題也很明顯，如果接收數據的Executor速度快于計算的Executor，計算節點就容易內存溢出，所以現在已經不太適用了。
?
當下，DirectAPI成為主流選擇。它讓計算的Executor主動消費Kafka數據，速度能自主把控。以Kafka 0-10 Direct模式為例，使用時先導入?spark-streaming-kafka-0-10_2.12?依賴，接著配置Kafka的相關參數，像Kafka集群地址、消費者組ID、反序列化器等。然后就能通過?KafkaUtils.createDirectStream?方法創建DStream，后續對數據進行處理，比如常見的wordCount操作。
?
實際操作時，得先啟動Kafka集群，再開啟Kafka生產者發送數據。運行Spark-Streaming程序，就能實時接收并處理Kafka生產的數據。處理完成后，還能通過?kafka-consumer-groups.sh?命令查看消費進度，了解數據處理情況。
?
?
