Flink源碼學習資料

Flink系列文檔腦圖

由于源碼分析系列文檔較多,本人繪制了Flink文檔腦圖。和下面的文檔目錄對應。各位讀者可以選擇自己感興趣的模塊閱讀并參與討論。

此腦圖不定期更新中……

文章目錄

以下是本人Flink 源碼分析系列文檔目錄,歡迎大家查閱和參與討論。

如果需要轉載,請務必注明出處。

Stream API:

Flink 源碼之基本算子
Flink 源碼之Window
Flink 源碼之WindowOperator
Flink 源碼之Trigger
Flink 源碼之Continuous Trigger
Flink 源碼之Evictor
Flink 源碼之AsyncFunction
Flink 源碼之 Side Output 踩坑

作業生成和調度:

Flink 源碼之StreamGraph生成
Flink 源碼之JobGraph生成
Flink 源碼之ExecutionGraph
Flink 源碼之OperatorChain
Flink 源碼之數據分區
Flink 源碼之batch問題處理

精準一次投送:

Flink 源碼之快照
Flink 源碼之兩階段提交
Flink 源碼之分布式快照
Flink 源碼之 1.11新特性Unaligned checkpoint

配置與優化:

Flink 源碼之安全認證
Flink 源碼之Buffer Debloating
Flink 源碼之 Buffer Timeout優化
Flink 源碼之 Window Slice

時間處理:

Flink 源碼之時間處理
Flink 使用之WatermarkStrategy(含源碼分析)

架構:

Flink 源碼之任務提交流程分析
Flink 源碼之作業執行流程
Flink 源碼之TaskManager啟動流程
Flink 源碼之內存管理
Flink 源碼之節點間通信
Flink 源碼之Credit Based反壓
Flink 源碼之leader選舉(Zookeeper方式)
Flink 源碼之 Slot
Flink 源碼之StreamTask
Flink 源碼之RPC調用
Flink 源碼之新 Source 架構
Flink 源碼之 KafkaSource
Flink 源碼之 KafkaSink
Flink 源碼之 yarn-session 啟動流程
Flink 源碼之 Distributed Cache

連接器:

Flink 源碼之FlinkKafkaConsumer
Flink 源碼之數據寫入HBase

SQL:

Flink 源碼之 SQL TableSource 和 TableSink
Flink 源碼之 SQL 執行流程
Flink 源碼之 SQL 內置function定義方式
Flink 源碼之 Table early fire 和 late fire
Flink 源碼之 LookupTableSource

Flink Hudi:

Flink Hudi 源碼之HoodieTableSink
Flink Hudi 源碼之COW表數據寫入流程

源碼技術點:

Java認證與授權 - JAAS
Java SPI 簡介
Java 動態代理
CompletableFuture 使用示例
Java 注解的使用

Flink 使用介紹相關文檔:

Flink 使用介紹相關文檔目錄

周邊拓展:

Flink 源碼周邊之Maven Plugin

Flink 源碼分析系列文檔目錄 - 簡書 (jianshu.com)
作者:AlienPaul
鏈接:https://www.jianshu.com/p/d4a372809e3d
來源:簡書
著作權歸作者所有。商業轉載請聯系作者獲得授權,非商業轉載請注明出處。

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/web/46159.shtml
繁體地址,請注明出處:http://hk.pswp.cn/web/46159.shtml
英文地址,請注明出處:http://en.pswp.cn/web/46159.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

偽元素::before :: after的用法?

::before 和 ::after 是 CSS 偽元素,用于在元素內容的前面或后面插入內容。這些偽元素不會改變文檔的實際內容,但可以用來添加裝飾性元素或文本。以下是它們的用法和一些常見示例。 基本用法 ::before ::before 偽元素用于在元素的內容之前插入內容。 …

【簡潔明了】調節大模型的prompt的方法【帶案例】

簡明調節大模型的prompt的方法【簡潔明了帶案例】 1. 明確任務目標2. 提供上下文3. 指定格式4. 限制輸出長度5. 使用示例6. 逐步引導7. 提供反面例子8. 使用CoT思維鏈9. 反復試驗和調整方法九解釋:喬哈里窗檢視 最后 因為網上給出的調節prompt都 過于詳細&#xff…

用 WireShark 抓住 TCP

Wireshark 是幫助我們分析網絡請求的利器,建議每個同學都裝一個。我們先用 Wireshark 抓取一個完整的連接建立、發送數據、斷開連接的過程。 簡單的介紹一下操作流程。 1、首先打開 Wireshark,在歡迎界面會列出當前機器上的所有網口、虛機網口等可以抓取…

網絡通信介紹

一、 簡介 網絡通信,簡而言之,就是通過各種物理鏈路和協議,實現不同地理位置的計算機或其他電子設備之間信息交換的過程。這些信息可以是文本、圖像、音頻、視頻等多種格式,通過網絡傳輸至目標設備,從而實現遠程通信、…

怎樣減少視頻的容量 怎樣減少視頻內存保持清晰度

在數字媒體時代,視頻內容已經成為人們日常交流和信息傳遞的重要方式。然而,視頻往往占用大量存儲空間,給我們的設備帶來不小的負擔。如何在不損失視頻質量的前提下,減少視頻文件的大小呢?本文將為你揭秘幾個實用的技巧…

Qt 使用Installer Framework制作安裝包

Qt 使用Installer Framework制作安裝包 引言一、下載安裝 Qt Installer Framework二、簡單使用2.1 創建目錄結構 (文件夾結構)2.2 制作程序壓縮包2.3 制作程序安裝包 引言 Qt Installer Framework (安裝程序框架)是一個強大的工具集,用于創建自定義的在線和離線安裝…

探索 TransactionSynchronizationManager.afterCommit 的原理及使用

在日常的企業級開發中,我們經常需要在事務提交之后執行一些操作,例如記錄日志、發送通知等。Spring 提供了一個方便的機制來實現這個需求,那就是 TransactionSynchronizationManager.afterCommit。本文將詳細探討 TransactionSynchronization…

【開發指南】HTML和JS編寫多用戶VR應用程序的框架

1.概述 Networked-Aframe 的工作原理是將實體及其組件同步到連接的用戶。要連接到房間,您需要將networked-scene組件添加到a-scene元素。對于要同步的實體,請向其添加networked組件。默認情況下,position和rotation組件是同步的,…

同三維T80004解碼器視頻使用操作說明書:高清HDMI解碼器,高清SDI解碼器,4K超清HDMI解碼器,雙路4K超高清解碼器

同三維T80004解碼器視頻使用操作說明書:高清HDMI解碼器,高清SDI解碼器,4K超清HDMI解碼器,雙路4K超高清解碼器 同三維T80004解碼器系列視頻使用操作說明書:高清HDMI解碼器,高清SDI解碼器,4K超清H…

未來的社交標桿:如何通過AI讓Facebook更加智能化?

在當今信息爆炸的時代,社交媒體平臺的智能化已成為提高用戶體驗和互動質量的關鍵因素。Facebook,作為全球最大的社交平臺之一,通過人工智能(AI)的廣泛應用,正不斷推進其智能化進程。本文將探討Facebook如何…

CAS的原理

CAS(Compare-And-Swap 或 Compare-And-Set)是一種用于實現并發編程中無鎖(lock-free)數據結構的原子操作。CAS 操作比較內存中的某個位置的當前值是否等于預期值,如果相等,則將其更新為新的值,否…

代碼隨想錄學習 54day 圖論 from代碼隨想錄

圖論總結篇 從深搜廣搜 到并查集,從最小生成樹到拓撲排序, 最后是最短路算法系列。至此算上本篇,一共30篇文章,圖論之旅就在此收官了。在0098.所有可達路徑 ,我們接觸了兩種圖的存儲方式,鄰接表和鄰接矩陣…

B樹(B-Tree)數據結構

1. 什么是B樹? B樹(B-Tree)是一種多路搜索樹,用于存儲和檢索大量數據。它是自適應的,適用于各種存儲設備和各種數據量。B樹的特點是高效的搜索、插入和刪除操作,且可以在各種情況下保持樹的平衡。 2. B樹…

昇思25天學習打卡營第16天 | Vision Transformer圖像分類

昇思25天學習打卡營第16天 | Vision Transformer圖像分類 文章目錄 昇思25天學習打卡營第16天 | Vision Transformer圖像分類Vision Transform(ViT)模型TransformerAttention模塊Encoder模塊 ViT模型輸入 模型構建Multi-Head Attention模塊Encoder模塊Pa…

工業三防平板助力工廠生產數據實時管理

在當今高度數字化和智能化的工業生產環境中,工業三防平板正逐漸成為工廠實現生產數據實時管理的得力助手。這種創新的技術設備不僅能夠在惡劣的工業環境中穩定運行,還為工廠的生產流程優化、效率提升和質量控制帶來了前所未有的機遇。 工業生產場景通常充…

機器學習——數據預處理和特征工程(sklearn)

目錄 一、數據挖掘流程 1. 獲取數據 2. 數據預處理 3. 特征工程 4. 建模,測試模型并預測出結果 5. 驗證模型效果 二、sklearn中的相關包 1.sklearn.preprocessing 2.sklearn.Impute 3.sklearn.feature_selection 4.sklearn.decomposition 三、數據預處理…

【網絡安全】PostMessage:分析JS實現XSS

未經許可,不得轉載。 文章目錄 前言示例正文 前言 PostMessage是一個用于在網頁間安全地發送消息的瀏覽器 API。它允許不同的窗口(例如,來自同一域名下的不同頁面或者不同域名下的跨域頁面)進行通信,而無需通過服務器…

【Arduino IDE】安裝及開發環境、ESP32庫

一、Arduino IDE下載 二、Arduino IDE安裝 三、ESP32庫 四、Arduino-ESP32庫配置 五、新建ESP32-S3N15R8工程文件 樂鑫官網 Arduino官方下載地址 Arduino官方社區 Arduino中文社區 一、Arduino IDE下載 ESP-IDF、MicroPython和Arduino是三種不同的開發框架,各自適…

定制開發AI智能名片商城微信小程序在私域流量池構建中的應用與策略

摘要 在數字經濟蓬勃發展的今天,私域流量已成為企業競爭的新戰場。定制開發AI智能名片商城微信小程序,作為私域流量池構建的創新工具,正以其獨特的優勢助力企業實現用戶資源的深度挖掘與高效轉化。本文深入探討了定制開發AI智能名片商城微信…

.NET Framework、.NET Core 、 .NET 5、.NET 6和.NET 7 和.NET8 簡介及區別

簡述 在軟件開發的宇宙中,.NET是一個不斷擴展的星系,每個版本都像是一顆獨特的星球,擁有自己的特性和環境。作為技術經理,站在選擇的十字路口,您需要一張詳盡的星圖來導航。本文將作為您的向導,帶您穿越從.…