一 滑動窗口
1)滑動窗口設置
2)窗口對齊
3)窗口的調優,能否正常觸發
數據丟失問題
retry
事件延時(late arrival events)
五分鐘批量和24小時批量補給
二 ignite
1)多個client出現,集群串聯
2)宕機后數據丟失
3)數據持久化
三 批量文件發送
用spark 程序進行發送,編寫kafka producer 端
主要問題:
數據丟失(max.in.flight.requests.per.connection,? 1)
大數據發送,進行參數設置