布隆過濾器,Redis之 bitmap,場景題【如果微博某個大V發了一條消息,怎么統計有多少人看過了】

文章目錄

    • 一、什么是 bitmap
      • 1-1、Bitmap 相關命令
    • 二、bitmap 和 set 對比
      • 2-1、數據準備
      • 2-2、內存對比
      • 2-3、性能對比
    • 三、布隆過濾器
      • 3-1、理論
        • 主要作用
        • 如何將數據放到過濾器內呢?
        • 注意事項
        • 布隆過濾器 有兩個重要的參數
      • 3-2、代碼實現
      • 3-3、Java中的hash函數

最近面試,面試官問了一個場景題,遺憾的是我沒能答上來,后經老大指點,這里來做個總結。

如果微博某個大V發了一條消息,怎么統計有多少人看過了。

每一個訪問記錄肯定是要入庫的,但頁面展示的時候,我們不可能都去數據庫 count 一下。最開始我說使用redis的set數據結構把用戶id存進去,但這并不是一個很好的答案,因為它消耗的內存太大。

redis有一種數據結構 bitmap,在特定的數據場景下,它很適合來做這種統計,為什么說是特定的場景,下面我們來分析。

一、什么是 bitmap

Bitmap是一種精簡而高效的數據結構,通過二進制位存儲大規模布爾值信息,常用于快速處理用戶在線狀態、權限管理以及行為記錄等應用場景。

可以簡單把它想象成是趨于無限大的數組,只是這個數組的每個位置只能存儲 1 和 0。它可以快速的統計出有多少個 1,也可以快速統計某個區間內有多少個 1。

基于此我們可以創建一個 bitmap, key就是這條消息的id,每個位置就對應一個用戶,1 就表示看過。

1-1、Bitmap 相關命令

在這里插入圖片描述

二、bitmap 和 set 對比

如果只是想統計有多少個用戶訪問過,且某個用戶是否訪問過,其實 set類型,也可以滿足我們的要求,實際上我上次也是這么回答的,但結果是不對的,下面來看分析。

看一種數據結構是否好,無非是看它消耗的存儲空間和運行速率,基于此我們來對比一下 bitmap 和 set的內存消耗和運行速率。

2-1、數據準備

我們以10w數據為基準來進行測試,插入數據的腳本如下

@Scheduled(fixedRate = 1000 * 60 * 60)
public void fun() {redisTemplate.setKeySerializer(new StringRedisSerializer());redisTemplate.setValueSerializer(new StringRedisSerializer());redisTemplate.setHashKeySerializer(new StringRedisSerializer());long start = System.currentTimeMillis();ValueOperations<String, Object> valueOps = redisTemplate.opsForValue();for (int i = 0; i < 100000; i++) {String uuid = UUID.randomUUID().toString();redisTemplate.opsForSet().add("set10w_uuid", uuid);redisTemplate.opsForSet().add("set10w_incr", String.valueOf(i));valueOps.setBit("bitMap10w_hash", Murmur3.hash_x86_32(uuid.getBytes(),  uuid.length(), 0),true);valueOps.setBit("bitMap10w_hash_size", Math

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/211215.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/211215.shtml
英文地址,請注明出處:http://en.pswp.cn/news/211215.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

Windows系統Java開發環境安裝

總結一下Java軟件開發工程師常見的環境的安裝&#xff0c;僅限Windows環境。 以下下載鏈接均來自官網&#xff0c;網絡條件自己克服。 目錄 1. JDKJDK Oracle 官網下載地址配置系統環境變量 2. Mavenapache maven 官網地址本地倉庫和中央倉庫配置配置系統環境變量 3. GitGit 官…

springboot3 liquibase SQL執行失敗自動回滾,及自動打tag

一&#xff1a; 自動執行回滾&#xff0c; 已執行成功的忽略&#xff0c;新sql執行失敗則執行新sql文件中的回滾sql pom.xml <dependency> <groupId>org.liquibase</groupId> <artifactId>liquibase-core</artifactId> <version>4.25.0&…

【工廠方法】設計模式項目實踐

前言 以采集數據處理邏輯為例&#xff0c;數據采集分為不同種類如&#xff1a;MQTT、MODBUS、HTTP等&#xff0c;不同的采集數據有不同的解析處理邏輯。但總體解析處理步驟是固定的。可以使用工廠方法設計模式簡化代碼&#xff0c;讓代碼變得更加優雅。 代碼實踐 抽象類 總體…

分布式環境下的session 共享-基于spring-session組件和Redis實現

1、問題概述 不是所有的項目都是單機模式的&#xff0c;當一個項目服務的局域比較廣&#xff0c;用戶體量比較大&#xff0c;數據量較大的時候&#xff0c;我們都會將項目部署到多臺服務器上&#xff0c;這些個服務器都是分布在不同的區域&#xff0c;這樣實現了項目的負載和并…

Redis有序集合對象

一.編碼 有序集合的編碼可以是ziplist或者skiplist。 ziplist編碼的有序集合對象使用壓縮列表作為底層實現&#xff0c;每一個集合元素使用緊挨在一起的兩個壓縮列表節點來保存。第一個節點保存元素的成員(member)&#xff0c;而第二個元素則保存元素的分值(score)。 127.0.0.…

鴻蒙app獲取文本控件按鈕控件_修改控件名稱_按鈕觸發事件_提示信息顯示

鴻蒙app獲取文本控件按鈕控件_修改控件名稱_按鈕觸發事件_ 點擊啟動&#xff1a;提示信息顯示 package com.example.myapplication.slice;import com.example.myapplication.ResourceTable; import ohos.aafwk.ability.AbilitySlice; import ohos.aafwk.content.Intent; impor…

12.1電梯控制器——文檔記錄

《數字邏輯》實驗報告 實驗名稱 項目三 電梯控制器設計 一、實驗目的 設計一個多樓層的電梯控制器系統&#xff0c;并能在開發板上模擬電梯運行狀態。可以利用按鍵作為呼叫按鍵&#xff0c;數碼管顯示電梯運行時電梯所在樓層&#xff0c;led燈顯示樓層叫梯狀態。 二、實…

太良心了!微軟面向初學者,開源機器學習、數據科學、AI、LLM

大家好&#xff0c;推薦幾個質量上乘且完全免費的微軟開源課程&#xff0c;由粉絲小伙伴梳理&#xff0c;分享給大家。 文末可以加我們粉絲群 面向初學者的機器學習課程 ML for beginners banner 地址&#xff1a;https://microsoft.github.io/ML-For-Beginners/#/ 學習經典…

[Linux] Web基礎知識與http協議

一、HTML 1.1 HTML 的概念 HTML被稱為超文本標記語言。 它是規范和標準. 它通過標記符號來標記網頁中出現的各個部分。網頁文件本身就是一種文本文件。 通過向文本文件添加標記&#xff0c;您可以告訴瀏覽器如何顯示其中的內容。 HTML命令可以描述文本、圖形、動畫、聲音、表格…

講解把一個文件夾里面的內容復制到另一個文件夾中的操作

&#x1f38a;專欄【Java小練習】 &#x1f354;喜歡的詩句&#xff1a;天行健&#xff0c;君子以自強不息。 &#x1f386;音樂分享【如愿】 &#x1f384;歡迎并且感謝大家指出小吉的問題&#x1f970; 文章目錄 &#x1f354;需求?思路?代碼?效果 &#x1f384;如果要復制…

Vue3:表格單元格內容由:圖標+具體內容 構成

一、背景 在Vue3項目中&#xff0c;想讓單元格的內容是由 &#xff1a;圖標具體內容組成的&#xff0c;類似以下效果&#xff1a; 二、圖標 Element-Plus 可以在Element-Plus里面找是否有符合需求的圖標iconfont 如果Element-Plus里面沒有符合需求的&#xff0c;也可以在這…

MySQL 數據庫操作指南:LIMIT,OFFSET 和 JOIN 的使用

限制結果 您可以通過使用"LIMIT"語句來限制查詢返回的記錄數量。以下是一個示例&#xff0c;獲取您自己的Python服務器中"customers"表中的前5條記錄&#xff1a; import mysql.connectormydb mysql.connector.connect(host"localhost",user&…

Proteus仿真--基于NM24C08的EEPROM仿真設計

本文介紹基于NM24C08的EEPROM仿真設計&#xff08;完整仿真源文件及代碼見文末鏈接&#xff09; 其中NM24C08是標準的2線總線接口的串行EEPROM&#xff0c;開機畫面在LCD12864上顯示 仿真圖如下 仿真運行視頻 Proteus仿真--基于NM24C08的EEPROM仿真設計 附完整Proteus仿真資料…

零一萬物模型折騰筆記:官方 Yi-34B 模型基礎使用

當爭議和流量都消失后&#xff0c;或許現在是個合適的時間點&#xff0c;來拋開情緒、客觀的聊聊這個 34B 模型本身&#xff0c;尤其是實踐應用相關的一些細節。來近距離看看這個模型在各種實際使用場景中的真實表現和對硬件的性能要求。 或許&#xff0c;這會對也想在本地私有…

Docker本地部署Drupal內容管理框架并實現公網遠程訪問

文章目錄 前言1. Docker安裝Drupal2. 本地局域網訪問3 . Linux 安裝cpolar4. 配置Drupal公網訪問地址5. 公網遠程訪問Drupal6. 固定Drupal 公網地址7. 結語 前言 Dupal是一個強大的CMS&#xff0c;適用于各種不同的網站項目&#xff0c;從小型個人博客到大型企業級門戶網站。它…

bat腳本之findstr

findstr 是 Windows 操作系統中用于文本搜索的命令&#xff0c;它可以在文件中查找指定的字符串或正則表達式&#xff0c;并輸出匹配的行或行號。findstr 命令可以在命令提示符下直接使用&#xff0c;也可以在批處理腳本中嵌套使用。 以下是 findstr 命令的基本語法&#xff1…

使用條件格式突出顯示單元格數據-sdk

使用條件格式突出顯示單元格數據 2023 年 12 月 6 日 根據數據值將視覺提示應用于特定單元格、行或列&#xff0c;從而更輕松地識別模式和趨勢。 網格中的條件格式允許用戶根據單元格或范圍包含的數據將視覺樣式應用于單元格或范圍。它通過以數據驅動的方式突出顯示關鍵值、異常…

【基于Python的二手車數據可視化平臺的設計與實現】

基于Python的二手車數據可視化平臺的設計與實現 前言數據獲取與處理網絡爬蟲數據存儲 可視化平臺的設計與實現Flask框架數據可視化 創新點結語 前言 隨著社會的不斷發展&#xff0c;二手車市場也逐漸成為一個備受關注的領域。為了更好地為二手車的買家和賣家提供信息&#xff…

Python 實現全連接攻擊-1

實現或討論如何實現網絡攻擊&#xff0c;包括全連接攻擊&#xff08;一種形式的拒絕服務攻擊&#xff09;&#xff0c;是不合適的&#xff0c;也違反了倫理和法律規定。無論是學術研究、安全測試還是其他目的&#xff0c;未經授權對網絡或系統進行攻擊都是非法和不道德的。 如…

計算和傳輸背后的時空觀

吞吐和速度(率)經常被混淆&#xff0c;當提到 100Gbps 網卡時&#xff0c;“它很快” 的意義可能只是 “它很多” 100Gbps 指 1s 內發送的比特數為 100G&#xff0c;如果在這 1s 內塞入更多比特&#xff0c;以下是兩種方式&#xff1a; 顯然&#xff0c;上面是更多&#xff…