【大數據面試題】33 Flink SQL做過哪些優化?

一步一個腳印,一天一道面試題

簡單寫幾個 Flink SQL 的優化

1.優化狀態管理

Flink 的狀態管理對整個程序的性能有較大影響。所以優化效果比較好。

  • 設置空閑狀態自動清理(TTL Time-to-Live)
  • 數據量大時選擇 RocksDBStateBackend
// 設置狀態TTL
tableEnv.getConfig().setIdleStateRetentionTime(Time.hours(2), Time.hours(24));// 設置 RockDB 狀態后端
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
env.setStateBackend(new EmbeddedRocksDBStateBackend());

2.Checkpoint 策略優化

檢查點機制是會一定程度影響程序性能的,

  • 設置較長時間 Checkpoint
  • 如果不必要的話可以不設置精確一次性(Excatly-Once)
  • 可以的話設置增量檢查點狀態快照
// 每10秒一次Checkpoint,精確一次語義
env.enableCheckpointing(10 * 1000L, CheckpointingMode.AT_LEAST_ONCE); // 在 1.15 之前,只有 RocksDB 支持增量快照
EmbeddedRocksDBStateBackend backend = new EmbeddedRocksDBStateBackend(true);

挺晚了,先寫這么多

我是近未來,祝你變得更強

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/bicheng/15750.shtml
繁體地址,請注明出處:http://hk.pswp.cn/bicheng/15750.shtml
英文地址,請注明出處:http://en.pswp.cn/bicheng/15750.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

《圖解支付系統設計與實現》電子書_V20240525

相較于上次公開發布的V20240503版本,變更內容如下: 根據掘金網友zz67373(李浩銘)的勘誤建議,優化了部分描述。增加:金額處理規范,低代碼報文網關實現完整代碼,分布式流控等內容。擴…

Java虛擬機原理(下)-Dalvik vs ART-探秘Android虛擬機內在機制

Android系統作為移動端主流平臺,其高效的虛擬機無疑是其核心競爭力之一。今天,就讓我們一起剝開Dalvik和ART虛擬機的外衣,深入解析它們的工作原理和優缺點,幫助你全面把握Android系統的運行機制。 正文導覽 Dalvik和ART虛擬機的發…

Openstack all-in-one_ironic 部署測試

1. 基礎環境 apt update apt install git python3-dev libffi-dev gcc libssl-dev apt install python3-venv 2. 設置虛擬環境變量 root@controller01:~# python3 -m venv /deploy/venv root@controller01:~# source /deploy/venv/bin/activate (venv) root@controller01:~#…

Nginx - 安全基線配置與操作指南

文章目錄 概述中間件安全基線配置手冊1. 概述1.1 目的1.2 適用范圍 2. Nginx基線配置2.1 版本說明2.2 安裝目錄2.3 用戶創建2.4 二進制文件權限2.5 關閉服務器標記2.6 設置 timeout2.7 設置 NGINX 緩沖區2.8 日志配置2.9 日志切割2.10 限制訪問 IP2.11 限制僅允許域名訪問2.12 …

debugger(一):打斷點的實現以及案例分析

〇、前言 最近在學習 debugger 的實現原理,并按照博客實現,是一個很不錯的小項目,這是地址。由于 macOS 的問題,系統調用并不完全相同,因此實現了兩個版本分支,一個是 main 版本分支(macOS M1 …

【一站式學會Kotlin】第八節:kotlin== 和 === 的差別和含義

作者介紹: 百度資深Android工程師T6,在百度任職7年半。 目前:成立趙小灰代碼工作室,歡迎大家找我交流Android、微信小程序、鴻蒙項目。 一:通俗易懂的人工智能教程:https://www.captainbed.cn/nefu/ 點一下…

Altium Designer 中鍵拖動,滾輪縮放,并修改縮放速度

我的版本是AD19,其他版本應該都一樣。 滾輪縮放 首先,要用滾輪縮放,先要調整一下AD 設置,打開Preferences,在Mouse Wheel Configuration 里,把Zoom Main Window 后面Ctrl 上的對勾取消掉,再把…

C++中的懸掛指針和野指針

懸掛指針(dangling pointer)和野指針(wild pointer)是兩種常見的指針錯誤,雖然它們都可能導致未定義行為,但它們產生的原因和表現有所不同。 1.懸掛指針(Dangling Pointer) 懸掛指…

2024 ISCC pwn wp

iscc 練武pwn 總結第一周chaosISCC_easyFlagshopping 第二周ISCC_easyISCC_Uheapheap 第三周miaoYour_programeazy_heap 總結 總體感覺iscc考察的題目都挺基礎的,在目前這種比賽的大環境下,仍然出這種,比較基礎的題目,實在是難得…

智馭未來:探究AIGC行業的戰略入局時機與前景展望

當前時點涉足人工智能生成內容(AIGC)行業,是一個策略性抉擇,基于對該行業現狀的深度剖析及對未來趨勢的前瞻性預判,其可行性與吸引力顯著。 行業發展階段分析: 技術迭代加速:近年來&#xff0c…

力扣刷題---2283. 判斷一個數的數字計數是否等于數位的值【簡單】

題目描述 給你一個下標從 0 開始長度為 n 的字符串 num &#xff0c;它只包含數字。 如果對于 每個 0 < i < n 的下標 i &#xff0c;都滿足數位 i 在 num 中出現了 num[i]次&#xff0c;那么請你返回 true &#xff0c;否則返回 false 。 示例 1&#xff1a; 輸入&a…

SpringCloud系列(31)--使用Hystrix進行服務降級

前言&#xff1a;在上一章節中我們創建了服務消費者模塊&#xff0c;而本節內容則是使用Hystrix對服務進行服務降級處理。 1、首先我們先對服務提供者的服務進行服務降級處理 (1)修改cloud-provider-hystrix-payment8001子模塊的PaymentServiceImpl類 注&#xff1a;HystrixP…

學習elixir(1)

突然發現elixir很有趣&#xff0c;所以想記錄以下學習內容 # .ex .exs file elixir simple.exs # mix new <app_name> # mix deps.get; mix deps.update; mix deps.compile # 怎么使用mix escript.build # eg. 在mix.exs添加escript: [main_module: IntentionCLI, name:…

Window在VScode運行C/C++程序

首先說明&#xff1a;不同運行環境&#xff08;Linux/Window&#xff09;下的頭文件會有差異&#xff0c;要注意變換&#xff01;生成可執行文件 Window默認生成a.exe&#xff0c;Linux默認生成a.out # C源代碼 g test.cpp # C語言源代碼 g test.c 或 gcc test.c直接輸入a.ex…

從零開始學逆向,js逆向啟蒙:有道翻譯

語言&#xff1a;js、python 工具&#xff1a;pycharm、chrome瀏覽器F12調試、chatgpt&#xff08;補充js第三方庫&#xff0c;轉python&#xff09;、node.js(js運行)&#xff08;必須&#xff09; 目標&#xff1a;學習掌握基本js逆向知識。 對象&#xff1a; 有道翻譯 &a…

怎么判斷同步時序邏輯電路和異步時序邏輯電路?

&#x1f3c6;本文收錄于「Bug調優」專欄&#xff0c;主要記錄項目實戰過程中的Bug之前因后果及提供真實有效的解決方案&#xff0c;希望能夠助你一臂之力&#xff0c;幫你早日登頂實現財富自由&#x1f680;&#xff1b;同時&#xff0c;歡迎大家關注&&收藏&&…

力扣刷題---2418. 按身高排序【簡單】

題目描述 給你一個字符串 數組 names &#xff0c;和一個由 互不相同 的正整數組成的數組 heights 。兩個數組的長度均為 n 。 對于每個下標 i&#xff0c;names[i] 和 heights[i] 表示第 i 個人的名字和身高。 請按身高 降序 順序返回對應的名字數組 names 。 示例 1&…

僵尸進程,孤兒進程,守護進程

【一】僵尸進程 1.僵尸進程是指完成自己的任務之后&#xff0c;沒有被父進程回收資源,占用系統資源,對計算機有害&#xff0c;應該避免 """ 所有的子進程在運行結束之后都會變成僵尸進程(死了沒死透)還保留著pid和一些運行過程的中的記錄便于主進程查看(短時間…

嵌入式作業5

在函數main.c中初始化三種顏色的燈&#xff1a; gpio_init(LIGHT_BLUE, GPIO_OUTPUT, LIGHT_OFF); //藍燈 gpio_init(LIGHT_GREEN, GPIO_OUTPUT, LIGHT_OFF); //綠燈 gpio_init(LIGHT_RED, GPIO_OUTPUT, LIGHT_OFF); //紅燈 同時為了響應以上修改&#xff0c;進入isr。c…

STM32 CubeMX使用記錄

取消DMA中斷默認使能 DMA中斷默認使能勾選無法取消選中 取消勾選Force DMA channels interrupts