輸入分鐘輸出小時python_輸出鍵,值對如何使1小時內的時間在使用Python的MapReduce中的reducer中結束?...

這是一個策略:

來自Mapper的

:發出每個記錄的三個副本并使用二級排序:

((復合鍵),值)=

((消息小時 - 一小時,當前消息的精確時間),消息)

((消息小時,消息的準確時間),消息)

((消息小時1小時,消息的準確時間),消息)

現在:您需要標準的二級排序:

setPartitioner只到密鑰的前半部分(消息的小時)

setGroupingComparator只到鍵的前半部分(消息的小時)

setSortingComparator to(消息小時,消息的準確時間)

在reducer中:每個reducer組接收消息精確時間內/ - 60到120分鐘內的所有消息 . reducer以排序順序查看"precise time of message"的所有內容 . 因此,您可以在每個減速器中保留過去60分鐘內查看的所有消息的滑動窗口

NOTE 以上假設60分鐘消息的數據可以放在單個reducer任務的內存中 . 否則,您將需要求助于將數據寫入磁盤作為窗口函數的一部分 .

Update OP要求進一步澄清窗口,所以我們走了 .

從Mapper發出的密鑰的角度考慮:每個輸入記錄有三個密鑰 . 現在在Reducer上,這意味著每個輸入記錄都出現在三個不同的組中 . 原因是我們需要針對每個輸入記錄考慮前導和滯后記錄 . 因此,現在我們讓每個組都可以訪問所有輸入記錄,這些記錄可能在最早記錄的60分鐘內以及最新記錄的60分鐘內 . 由于記錄按每小時最早的秒數分組:這意味著-60(分鐘)到120(最大)對比屬于給定小時組的任何記錄 .

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/533631.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/533631.shtml
英文地址,請注明出處:http://en.pswp.cn/news/533631.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

python 在線預覽文件_用Python PyQt寫一個在線預覽圖片的GUI

在爬完網上一篇帖子,并得到其中的所有圖片鏈接后,寫一個GUI來實現在線預覽是一個很自然的想法, 相當于實現一個python版的圖片瀏覽器, 通過這個練習,可以讓我們更熟悉PyQt這個庫。這里我用的是PyQt4。以下是我的寫的程…

python怎樣安裝模塊_python中如何安裝模塊

下面介紹幾種安裝Python模塊的幾種方式方法1:easy_install 方式先下載ez_setup.py,運行python ez_setup 進行easy_install工具的安裝,之后就可以使用easy_install進行安裝package了。本文安裝的是Python 2.7.13版本,已經自帶了easy_install。…

java rt_java中rt包中源碼了解

javap –verbose class名 查看class文件的具體內容javap -c class名繼續看io類接口 java.io.Closeable功能:關閉流和相應的資源java.io.console功能:使用字節控制臺,與當前的java virtual machine 相關java.io.DataInput功能:從二…

google 確定某點海拔高_一份“高投資回報率”的用戶體驗度量方法指南

本文核心就是介紹體驗度量方法,以及如何在商業項目中如何發起一個具有高ROI(投資回報率)的用戶體驗量化流程。 下面文章將分為解讀高投資回報和拆解體驗度量、實際案例講解三部分。一、解讀高投資回報率高ROI(投資回報率)來定義體驗度量流程的原因?3-5年…

md5 java代碼_JAVA簡單實現MD5注冊登錄加密實例代碼

開發環境:jdk1.7,eclipse框架:springmvc,mybatis工具:maven以下代碼復制即可實現MD5加密創建一個mave項目,加web。不懂得可以搜索一下就有了。注冊用戶的JSP頁面代碼如下。pageEncoding"utf-8"%&…

一維卷積神經網絡_序列特征的處理方法之二:基于卷積神經網絡方法

前言上一篇文章介紹了基本的基于注意力機制方法對序列特征的處理,這篇主要介紹一下基本的基于卷積神經網絡方法對序列特征的處理,也就是TextCNN方法。序列特征的介紹,背景以及應用可以參考上一篇的詳細介紹,這里簡單回顧一下定義&…

java socket 阻塞模式_(四) 如何將socket設置為非阻塞模式

1. windows平臺上無論利用socket()函數還是WSASocket()函數創建的socket都是阻塞模式的:SOCKET WSAAPI socket( _In_ int af, _In_ int type, _In_ int protocol ); SOCKET WSASocket( _In_ int af, _In_ int t…

python中的pygame模塊使用方法_Pygame的基本使用

Pygame有很多模塊,每個模塊又有很多方法,在此不能夠逐一講解,所以,我們通過一個實例來學習Pygame,然后再分解代碼,講解代碼中的模塊。例:制作一個跳躍的小球游戲。創建一個游戲窗口,…

java mongodb 插入數據_mongoDB 插入數據 用java實現

import java.net.UnknownHostException;import com.mongodb.BasicDBObject;import com.mongodb.DB;import com.mongodb.DBCollection;import com.mongodb.DBObject;import com.mongodb.Mongo;/** *用java 往mongoDB插入數據 * author wwd* */public class InsertData {publi…

python的特征提取實驗一_Spark 2.1.0 入門:特征抽取 — TF-IDF(Python版)

這一部分我們主要介紹和特征處理相關的算法,大體分為以下三類:特征抽取:從原始數據中抽取特征特征轉換:特征的維度、特征的轉化、特征的修改特征選取:從大規模特征集中選取一個子集特征提取TF-IDF (HashingTF and IDF)…

java addlast_Java中的LinkedList addLast()方法: java.util.LinkedList.addLast() - Break易站

Java中的java.util.LinkedList.addLast()方法用于在LinkedList的末尾插入特定元素。句法:void addLast(Object element)參數:此函數接受單個參數元素,如上面的語法所示。此參數指定的元素將附加在列表的末尾。返回值:此方法不返回…

macos降級_iOS12.3 beta2更新了什么 iOS12.3測試版2新特性與升降級方法

4月0日凌晨,蘋果發布了iOS12.3 beta2,作為iOS12.3第二個測試版,相比前一個版本,發布時間間隔近2周,這次依然是小版本更新,不過相對良心一些,主要是多了一些與國內用戶相關的東西。iOS12.3 beta …

java技術教程視頻_Spring開發視頻教程高級篇+源碼(400M)33講

Spring開發視頻教程高級篇源碼(400M)33講01_全面闡釋Spring及其各項功能.rar 02_搭建與測試Spring的開發環境.rar 03_編碼剖析Spring管理Bean的原理.rar 04_Spring的三種實例化Bean的方式.rar 05_配置Spring管理的bean的作用域.rar 06_Spring管理的Bean的生命周期.rar 07_編碼剖…

python的常見矩陣除法_Numpy矩陣除法返回所有零

我對下面的矩陣有個除法錯誤。我想用行和的101向量除以1010matrix。在[[5731, 3, 20, 8, 12, 54, 46, 8, 39, 2],[ 2, 6472, 47, 24, 7, 44, 7, 11, 116, 12],[ 55, 36, 5296, 104, 84, 27, 106, 53, 183, 14],[ 50, 49, 132, 5312, 2, 253, 36, 58, 142, 97],[ 16, 28, 36, 9,…

java rc2加密_急求java RC2加密算法

下面是一段C RC2加密 要求要用java 重寫 能互相加密解密QSBEncryptRc2::QSBEncryptRc2(){EncryKey "DingXin Communication Key 20080613";}//解密失敗時返回失敗描述AnsiString QSBEncryptRc2::GetDecryptErrMsg(){int ErrorCode;AnsiString ErrMsg;ErrorCode …

linux配置usb主從_雜集:淺談關于Mongodb數據庫主從復制

Linux下Mongodb數據庫主從復制配置Mongodb的三種集群搭建的方式:Master-Slaver:主從[目前被副本集取代]。Replica Set:副本集。Sharding:切片。Mongodb單實例缺點:適合簡易開發時使用,生產使用不行&#xf…

java讀取郵箱附件_使用javamail獲取附件內容

我正在使用javamail來自動化一些電子郵件處理。使用javamail獲取附件內容我設法連接到pop3服務器并獲取消息。其中一些包含附件。根據郵件標題,我可以“預測”我需要獲取的附件的文件名。但我無法得到它的內容:(我有一個函數public byte[] searchForContent(Part pa…

高斯擬合 vc++代碼_NMA2020W1 極大似然法模型擬合與bootstrap

常見的線性模型: 求解方式有兩種,一種是計算均方誤差(MSE),使得均方誤差最小。圖1找到梯度為零的點即可。而之前一直比較模糊的最大似然法也比較清楚了。一般線性模型,我們假定誤差項是符合高斯分布的&…

java文件快速掃描儀_Java掃描儀具有示例的NextNextShort()方法

掃描儀類hasNextShort()方法語法:public boolean hasNextShort();public boolean hasNextShort(int rad);hasNextShort()方法在java.util包中可用。hasNextShort()方法用于檢查此掃描程序在其輸入中是否具有下一個標記,是否可以將其作為隱式基數中的shor…

python sqlite并發處理_python sqlite大數據 處理

{"moduleinfo":{"card_count":[{"count_phone":1,"count":1}],"search_count":[{"count_phone":4,"count":4}]},"card":[{"des":"阿里技術人對外發布原創技術內容的最大平臺&…