并行計算的強大

最近在處理一批數據，10的8次方，處理完畢大概要一個月，并且這個程序占用的CPU只有一個（我從來沒有注意到這個問題啊啊啊）。

突然師兄提醒我可以把10的8次方條數據拆成10個10的7次方，作為10條任務并行處理，我艸，三天就跑完了啊，坑爹呢這是我之前怎么沒想到呢混蛋！！

?

以后單任務的程序一定要注意下CPU的使用情況。

?

并行處理也有個簡單的方法，就是把原始文件給切割后提交，讓隊列調度程序給你并行調度就ok了。大家不要拍磚啊，這個玩意兒還是挺有用處的。

下面這個破腳本，哦，是perl腳本，用來切割文件的。我這里講某個文件切割成，每4000條數據一個文件，每1000個文件一個文件夾，閑話少說，上酸菜：

Perl代碼 ?收藏代碼
  1. #!/usr/bin/perl?-w??
  2. #?Program?name:?filter_pro.pl??
  3. #?Author??????:?bbsunchen??
  4. #?Contact?????:?bbsunchen?at?gm*il.com??
  5. #?Date????????:?11/10/2011??
  6. #?Last?Update?:?11/10/2011??
  7. #?Reference???:?Please?cite?our?following?papers?when?you?are?using?this?script.??
  8. ??
  9. #?Description?:???
  10. ??
  11. #===============================================================================================================??
  12. use?warnings;??
  13. use?strict;??
  14. use?Getopt::Long;??
  15. use?Cwd?qw(abs_path);??
  16. use?File::Basename?qw(dirname);??
  17. ??
  18. my?%opts;??
  19. GetOptions(\%opts,"dir:s");??
  20. my?$usage=?<<"USAGE";??
  21. ????Program:?$0??
  22. ????INPUT:??
  23. ????????-dir????????full?path?of?file??
  24. ??
  25. ????OUTPUT:??
  26. USAGE??
  27. die?$usage?unless?($opts{dir}?&&?-e?$opts{dir});??
  28. ??
  29. my?$cwd;??
  30. if?($opts{dir}?=~?m{^/})??
  31. {??
  32. ??$cwd?=?dirname($opts{dir});??
  33. }??
  34. else??
  35. {??
  36. ??$cwd?=?dirname(abs_path($opts{dir}));??
  37. }??
  38. open?DIR,?$opts{dir};??
  39. my?$seq_num?=?0;??
  40. my?$title?=?"";??
  41. my?$data?=?"";??
  42. while(<DIR>)??
  43. {??
  44. ????$seq_num++;??
  45. ????if($seq_num?%?2?!=?0)??
  46. ????{??
  47. ????????$title?=?$_;??
  48. ????????next;??
  49. ????}else??
  50. ????{??
  51. ????????$data?=?$_;???
  52. ????}??
  53. ????my?$decide_path?=?0;??
  54. ????if($seq_num?%?2?==?0)??
  55. ????{??
  56. ????????$decide_path?=?$seq_num?/?2;???
  57. ????}else??
  58. ????{??
  59. ????????$decide_path?=?int($seq_num?/?2)?+?1;??
  60. ????}??
  61. ??????
  62. ????my?$file_name?=?int($decide_path?/?4000);??
  63. ????my?$path_name?=?int($file_name?/?1000);??
  64. ????my?$temp_path?=?"$cwd/$path_name";??
  65. ????mkdir?$temp_path,0775?unless?(-e?"$temp_path");??
  66. ????die?$!?unless?($opts{dir}?&&?-e?$opts{dir});??
  67. ????open?OUT,?">>?$temp_path/$file_name.fa";??
  68. ????print?OUT?$title;??
  69. ????print?OUT?$data;??
  70. ????close?OUT;??
  71. }??
  72. close?DIR;?

本文來自互聯網用戶投稿，該文觀點僅代表作者本人，不代表本站立場。本站僅提供信息存儲空間服務，不擁有所有權，不承擔相關法律責任。
如若轉載，請注明出處：http://www.pswp.cn/news/451485.shtml
繁體地址，請注明出處：http://hk.pswp.cn/news/451485.shtml
英文地址，請注明出處：http://en.pswp.cn/news/451485.shtml

如若內容造成侵權/違法違規/事實不符，請聯系多彩編程網進行投訴反饋email:809451989@qq.com，一經查實，立即刪除！

相關文章

Kubernetes集群（概念篇）

Kubernetes集群（概念篇）

Kubernetes介紹 2013年docker誕生&#xff0c;自此一發不可收拾&#xff0c;它的發展如火如荼&#xff0c;作為一個運維如果不會docker&#xff0c;那真的是落伍了。 而2014年出現的kubernetes&#xff08;又叫k8s&#xff09;更加炙手可熱&#xff0c;我想大部分人僅僅是聽說過…
閱讀更多...
cannot resolve symbol xxxx問題

cannot resolve symbol xxxx問題

1.File->Invalidate Caches/Restart 清除緩存重啟 2.還不行就maven -> Reinport
閱讀更多...
$(“#addLowForm“).serialize()同時提交其它參數的寫法

$(“#addLowForm“).serialize()同時提交其它參數的寫法

前些天發現了一個巨牛的人工智能學習網站&#xff0c;通俗易懂&#xff0c;風趣幽默&#xff0c;忍不住分享一下給大家。點擊跳轉到教程。 1. 原本寫法&#xff1a; 2. 不光傳表單參數&#xff0c;還有別的參數的寫法&#xff1a;
閱讀更多...
JAVA自學筆記25

JAVA自學筆記25

JAVA自學筆記25 1、GUI 1&#xff09;圖形用戶接口&#xff0c;以圖形的方式&#xff0c;來顯示計算機操作的界面&#xff0c;更方便更直觀 2&#xff09;CLI 命令行用戶接口&#xff0c;就是常見的Dos&#xff0c;操作不直觀 3&#xff09; 類Dimension 類內封裝單個對象…
閱讀更多...
360——新式的流氓

360——新式的流氓

360確實是一種新式的流氓。提供一些很多用戶有用的工具&#xff0c;然后在同時&#xff0c;也提供一些流氓性的工具或者流浪性的推廣方法&#xff0c;比如&#xff1a;對360瀏覽器&#xff0c;360桌面等工具&#xff0c;通過暗示性的廣告語進行推廣&#xff0c;而對于安裝的諸多…
閱讀更多...
跳板機

跳板機

現在一定規模互聯網企業&#xff0c;往往都擁有大量服務器&#xff0c;如何安全并高效的管理這些服務器是每個系統運維或安全運維人員必要工作。現在比較常見的方案是搭建堡壘機環境作為線上服務器的入口&#xff0c;所有服務器只能通過堡壘機進行登陸訪問&#xff0c;合格的堡…
閱讀更多...
Map是不是集合？

Map是不是集合？

Map是不是集合&#xff1f; 一、起因 今天在一個群里跟幾位朋友就“map是不是集合“”爭執了起來&#xff1b;幾位朋友一致認為map不是集合&#xff0c;他們說只有Collection接口下的才是集合&#xff0c;而我認為Collection和Map下的實現類都是集合類。二、發展 于是我開始在…
閱讀更多...
JAVA自學筆記08

JAVA自學筆記08

JAVA自學筆記08 1、構造方法私有&#xff0c;外界就不能再創建對象 2、說明書的制作過程 1&#xff09;寫一個工具類&#xff0c;在同一文件夾下&#xff0c;測試類需要用到工具類&#xff0c;系統將自動編譯工具類&#xff1b;工具類的成員方法一般是靜態的&#xff0c;因此…
閱讀更多...
創業，不能兼職

創業，不能兼職

一直在尋找靠譜的技術人才加入自己的創業團隊。這個靠譜&#xff0c;不僅是技術靠譜&#xff0c;還要有相同的價值觀。價值觀的概念也很廣泛&#xff0c;除了人品&#xff0c;還有對一些涉及到做人做事最本質的一些理念要相同。最起碼的一條是&#xff0c;你是不是真的想好了決…
閱讀更多...
Java 集合系列07之 Stack詳細介紹(源碼解析)和使用示例

Java 集合系列07之 Stack詳細介紹(源碼解析)和使用示例

轉載 http://www.cnblogs.com/skywang12345/p/3308852.html轉載于:https://www.cnblogs.com/lizhouwei/p/9162251.html
閱讀更多...
@Controller和@RestController的區別

@Controller和@RestController的區別

RestController注解相當于ResponseBody &#xff0b; Controller合在一起的作用。 1)如果只是使用RestController注解Controller&#xff0c;則Controller中的方法無法返回jsp頁面&#xff0c;配置的視圖解析器InternalResourceViewResolver不起作用&#xff0c;返回的內容就是…
閱讀更多...
spring AOP解說

spring AOP解說

1.aop切面編程就是在常規的執行java類中方法前或執行后加入自定義的方法。 比如你本來每天都去打醬油&#xff0c;去&#xff0c;打醬油&#xff0c;回。 現在我每天在你打醬油路上等著&#xff0c;你去打醬油的時候我打你一頓&#xff0c;回來的時候給你點糖果吃。 你根本不…
閱讀更多...
接口 EnvironmentAware

接口 EnvironmentAware

凡是被Spring管理的類&#xff0c;實現接口 EnvironmentAware 重寫方法 setEnvironment 可以在工程啟動時&#xff0c;獲取到系統環境變量和application配置文件中的變量。
閱讀更多...
簡單安裝ELK分析日志及使用心得

簡單安裝ELK分析日志及使用心得

ELK是由Elasticsearch、Logstash、Kibana三個組件組成的。Elasticsearch&#xff1a;是ELK的核心插件&#xff0c;是一個基于Lucene的搜索服務器&#xff0c;它提供一個分布式多用戶能力的全文搜索引擎&#xff0c;能夠達到實時搜索&#xff0c;穩定&#xff0c;可靠&#xff0…
閱讀更多...
寄生式創業更容易成功

寄生式創業更容易成功

上次參加站長大會見識了不少創業團隊和個人站長&#xff0c;他們中許多人都曾有過或正在過著苦逼的日子&#xff0c;不過我見到更多的還是他們風光的一面&#xff0c;在這次大會我見到了很多成功的創業團隊&#xff0c;例如專門做微博營銷的團隊、依附于QQ空間的團隊、專做騰訊…
閱讀更多...
JS單引號嵌套的問題，怎么改才能對呢！

JS單引號嵌套的問題，怎么改才能對呢！

JS單引號嵌套的問題&#xff0c;怎么改才能對呢&#xff01; https://zhidao.baidu.com/question/416584343.html document.getElementById(celbid).innerHTML<inputname""type"text"οnblur"celchangeb(celaid,celbid);">;這段代碼是JS顯…
閱讀更多...
@RequestParam的作用

@RequestParam的作用

前些天發現了一個巨牛的人工智能學習網站&#xff0c;通俗易懂&#xff0c;風趣幽默&#xff0c;忍不住分享一下給大家。點擊跳轉到教程。 MVC另外一個特性是其提取和解析請求參數的能力。讓我們繼續重構上面的方法&#xff0c;并在其中添加RequestParam注解&#xff1a; Requ…
閱讀更多...
前端入門教程(七)CSS屬性設置

前端入門教程(七)CSS屬性設置

寬和高 width屬性可以為元素設置寬度。 height屬性可以為元素設置高度。 塊級標簽才能設置寬度&#xff0c;內聯標簽的寬度由內容來決定。 字體屬性 文字字體 font-family可以把多個字體名稱作為一個“回退”系統來保存。如果瀏覽器不支持第一個字體&#xff0c;則會嘗試下一個…
閱讀更多...
java 深入了解DTO及如何使用DTO

java 深入了解DTO及如何使用DTO

這篇文章主要來談論一下DTO使用的場合及其帶來的好處。首先要理解DTO是什么&#xff1f; DTO就是數據傳輸對象(Data Transfer Object)的縮寫。DTO模式&#xff0c;是指將數據封裝成普通的JavaBeans&#xff0c;在J2EE多個層次之間傳輸。 DTO類似信使&#xff0c;是同步系統中…
閱讀更多...
圖解CPU發展史

圖解CPU發展史

隨著科學技術和人們對物質水平要求的不斷提高&#xff0c;CPU作為電腦的核心組件&#xff0c;也發生了翻天覆地的變化&#xff0c;從1971年只有2300顆晶體管的Intel 4004微處理器到現在的以億為單位的Intel i7處理器&#xff0c;科技發展的步伐從未停止&#xff0c;隨著對原有技…
閱讀更多...
最新文章

Copyright @ 2022~2023