流水線上的思考——異步程序開發模型(2)

上一期我們講了一個簡單的流水線處理流程,正如我們在上期最后所說那樣,這個簡單的流水線處理流程對于后續有慢設備操作的業務來說,性能有可能偏低。今天我們來討論一下如何提高性能的方法。
首先讓我們來大致區分一下一般業務的處理方式。目前我遇到的業務處理有兩種方式:
1:業務之間無關聯關系。
這種方式的特點在于業務之間不具備前后關系和關聯關系。兩個業務,哪一個業務放在前面處理,都不會影響到后續處理的結果。例如日志服務器等等。
2:業務之間有關聯關系。
這種方式的特點就在于業務之間具有一定的關聯性,業務處理的順序不能打亂,必須執行完1以后再執行2。要不然處理的結果將完全出錯,或者直接處理出錯等等。例如和金錢相關的一些業務。
這兩種處理方式,我們需要分開討論。
今天我們先來討論第一種方式(業務之間無關聯關系)。我們可以先設計一個業務場景,然后針對這個場景來說明我們的處理方式。
業務場景:
我們設計一個日志服務器,這個日志服務器用來接收其它服務器發送來的日志信息,并將日志信息寫入到日志數據庫中。對于這個日志服務器來說,哪個服務器的日志先寫入或者后寫入,沒有什么必須的要求。
根據上一篇原理,我們可以設計出類似下圖的流水線處理方式:
通過上圖,我們就已經做出了一個日志服務器的大致骨架。但是當您運行這個程序的時候,你會發現當大量日志信息發送給日志服務器的時候,CPU的利用率依然不高。那么如何提高CPU的利用率的??——線程池!您想到的一定和我想到的是一樣的。線程池對于這種類型的業務來說的確是個不錯的選擇。如果您不知道什么叫做線程池的話……好吧,看來你要去先補一補課了,去看看我之前寫的一篇文章《IOCP線程池的開發》。如果您已經了解了線程池,那么上面的流水線處理方式將變成這樣的。
通過這樣的改進,我們在原來的單線程日志服務器的基礎之上,修改成了一個多線程的日志服務器。經過測試,這種方式對于日志服務器來說性能提升不是一星半點的概念。
好了,我們回過頭來看看我們今天設計的這種并行流水線處理方式。
我們先站在業務的角度來看業務處理流程:
1IOCP上接收到一個客戶端的業務請求,
2:業務被放入業務請求隊列。
3:業務請求隊列和業務處理隊列進行置換。
4:業務處理隊列將相應的請求通過IOCP發送給業務處理線程池進行處理。
如果我們站在線程的角度來看業務處理流程:
1IOCP中的一個線程將業務寫入業務分發線程中的業務請求隊列。
2:業務分發線程將業務請求隊列和業務處理隊列置換。
3:業務分發線程將業務分發給IOCP線程池進行業務處理。
通過以上的描述,我們發現,既然我們最后都要將業務請求分發給IOCP線程池,那么我們為什么要先將業務發送給業務分發線程,然后再由這個分發線程分發給線程池呢?這樣做不是脫了褲子放屁么?這個業務分發線程是否可以取消掉呢?
我覺得,這個問題可以看這個分發線程的處理業務:如果分發線程的作用只是簡單的將業務分發給線程池,而沒有其它業務的話,那么這個分發線程是完全可以取消的;但如果這個分發線程除了處理分發以外,還要對于一些外圍業務進行相應處理的話,我還是建議保留這個分發線程。
例如我曾經做過的一個項目,這個分發線程的作用是有兩個功能:
1:將相關業務分發給線程池進行處理。
2:對于一些上線、下線、心跳的外圍業務進行簡單處理。
對于這樣的項目來說,如果有個分發線程的話,處理起來會相對地方便很多。
好,我們來總結一下今天討論的結果。這個結果應該是分兩個。
1:對于使用分發線程的情況:
2:對于不使用分發線程的情況:
在業務線程池中中的業務分發處理部分,如果業務類型比較多時,建議大家可以采用業務編號和處理函數映射的方法。如果業務類型較少時,可以直接使用switch??case來做。
好了,今天的討論就是這些了,下次我們將討論業務之間有關聯關系的處理方法。今天討論的東西只是我的一些看法,如果有好的方法,希望大家能直接回復或者在QQ上告訴我,我的QQ是:513479626
本文轉自狗窩博客51CTO博客,原文鏈接http://blog.51cto.com/fxh7622/1142138如需轉載請自行聯系原作者

fxh7622

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/279573.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/279573.shtml
英文地址,請注明出處:http://en.pswp.cn/news/279573.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

java ReentrantLock 鎖相關筆記

為什么80%的碼農都做不了架構師?>>> ReentrantLock重入鎖簡單理解就是對同一個線程而言,它可以重復的獲取鎖。例如這個線程可以連續獲取兩次鎖,但是釋放鎖的次數也一定要是兩次 Lock locknew ReentrantLock(true);//公平鎖 Lock …

計算機啟動程序bios_如何構建自己的計算機,第三部分:準備BIOS

計算機啟動程序biosSo you’ve carefully picked out some parts and built a computer, but it doesn’t really do anything…yet. Before we hop into installing your operating system, we need to take a quick look at the BIOS and prepare it for our operating syste…

PLSQL 之類型、變量和結構

1、類型 在《.Net程序員學用Oracle系列(5):三大數據類型》一文中詳細地講述了 Oracle 的基本數據類型,文中還提到,除基本數據類型之外,Oracle 還在語法上支持一些非固有數值類型。 事實上,Oracle 在語法上支持的數據類…

kindle圖書免費下載_如何在Kindle上免費簽出圖書館書籍

kindle圖書免費下載Tired of paying so much for ebooks? Most libraries these days let you check out eBooks, for free, just like regular books. 厭倦了為電子書支付這么多錢? 如今,大多數圖書館都讓您免費閱讀電子書,就像普通書籍一樣…

第五章 了解你的用戶

第五章 了解你的用戶邏輯人的爭議:要學會把軟件開發簡單易用象牙塔式的開發:開發團隊常年閉封在“高塔”之中,一門心思的做著魔法一般的軟件。這些開發者根本就不知道用戶會怎么樣的使用他們所做的軟件。我們應該避免這種象牙塔式的開發&…

總結之:CentOS 6.4系統裁減詳解及裝載網卡步驟

前言 隨著接觸Linux的慢慢深入、對Linux也有了一個基本認識了吧,慢慢的接觸系統內核、系統配置文件、在了解Linux的系統啟動流程后,現在來總結一下一個簡單的Linux系統的裁減方法和步驟,一個只有內核文件和幾個簡單的命令的小Linux系統&am…

android 設備占用_如何查看正在占用Android設備的空間

android 設備占用When you picked up your shiny new Android device, you probably thought “yeah, this has plenty of storage. I’ll never fill it up!” But here you are, some number of months later with a full phone and no clue why. No worries: here’s how yo…

最近沉迷生意經

高度戰略搶占顧客心智 速度戰略 . 規模不夠就談發展速度,避開自己的劣勢; . 發展速度快說明產品好,受歡迎度高; 錢是工具,從錢上解脫 . 不能被錢所困 . 放下錢,才能瀟灑地使用錢 第一時間搶占顧客心智 . 核心點就是搶占…

mysql密碼正確卻提示錯誤, 不輸入密碼反而能登錄

今天部署阿里云服務器, 發現之前可以連接的mysql服務器突然連接不上了, 密碼我確認是正確的,但登錄時就是顯示密碼錯誤, 很崩潰, 差點氣得我就想重裝mysql了。 好在經過幾番苦尋找到了以下能解決我問題的資料, 成功解決了我的問題, 萬分感謝,…

域用戶權限|安裝軟件

如何讓普通的域用戶有安裝軟件的權限?現在給客戶部署了活動目錄,客戶要求 普通的域用戶也可以自己安裝軟件。不知道如何設置,希望大家幫幫忙!我告訴客戶的做法如下:不知道可行性如何? 1、在域中新建一個域賬…

c/c++ new delete初探

new delete初探 1,new有2個作用 開辟內存空間。調用構造函數。2,delete也有2個作用 釋放內存空間調用析構函數。如果用new開辟一個類的對象的數組,這個類里必須有默認(沒有參數的構造函數,或者有默認值的參數的構造函數)的構造函數…

php舊版本windows_Windows的舊版本中如何進行多任務處理?

php舊版本windowsConsidering that DOS was a single-tasking OS and the ties it had with early versions of Windows, just how did earlier versions of Windows manage to accomplish multi-tasking? Today’s SuperUser Q&A post looks at the answers to this ques…

批量提取視頻文件信息(文件大小及時長)并統計

隨著設備性能提高,視頻文件越來越大了。服務器在對外提供視頻服務時,需要承擔越來越大的存儲負擔。一般提供1080P的AVC編碼視頻已滿足多數觀看需求。(1小時視頻大約1.3G)此文要解決的就是關于已有大量高清視頻(1小時超…

列出所有K個元素的子集-----2013年1月26日

問題描述:列出一個集合的元素個數為k的所有子集。思路:在字典順序列出所有子集的基礎上判斷元素個數就可以了&#xff0c;比較簡單。代碼如下:1 #include <stdio.h>2 #define MAX 10003 4 int main()5 {6 int n5;7 int set[MAX]{1};8 int index0;9 int …

docker swarm的應用----docker集群的構建

一、docker安裝 這里我們安裝docker-ce 的18.03版本 yum -y remove docker 刪除原有版本 #安裝依賴包 [rootDocker ~]# yum -y install yum-utils device-mapper-persistent-data lvm2 #添加docker的CE版本的yum源配置文件 [rootDocker ~]# curl https://download.docker…

微信小程序 fire_如何在Fire TV和Fire TV Stick上側面加載應用程序

微信小程序 fireAmazon’s Fire TV and Fire TV stick technically runs Android…but you wouldn’t know it from looking. Amazon has a wall of content for its set-top box, and doesn’t want Google (with its own competing platform) to crash the party. But even t…

PS 技巧

1. 鋼筆的使用&#xff1a; 扣完一圈以后&#xff0c;按Ctrl回車鍵&#xff0c;會出現螞蟻線&#xff0c;然后按CtrlJ 是復制扣出來的圖層&#xff0c;右下角的框里會出現一個新圖層&#xff0c;注意每個圖層前邊有一個小框&#xff0c;點一下是出現眼睛就可以顯示該圖層在中央…

Ibatis - Open quote is expected for attribute {1} associated with an element type '

昨天晚上提交的代碼&#xff0c;今天運行起來&#xff0c;始終報錯&#xff1a; Open quote is expected for attribute "{1}" associated with an element type id,查了半天&#xff0c;覺得很奇怪。 回滾到昨天的代碼&#xff0c;運行正常。經過compare代碼&#…

Linux系統運維之路

九月份開始&#xff0c;半年內搞定運維&#xff0c;博客會慢慢的更新&#xff0c;vim編輯器&#xff0c;Nginx配置文件優化 運維基礎 運維基礎-Linux發展史、安裝、基本操作 運維基礎-用戶和組管理 運維基礎-文件權限管理 運維基礎-進程管理 運維基礎-IO 管道 運維基礎-查找壓…

設備無法獲得谷歌運行怎么辦_因此,您剛剛獲得了Google主頁。 怎么辦?

設備無法獲得谷歌運行怎么辦So you scored a Google Home for Christmas. That’s awesome because this is a killer little smart speaker that can do a lot of different things—in fact, it can be a little overwhelming. The good news is that we’ve got you covered…