linux python2.7 scipy_scipy.sparse.linalg.sp為Linux系統上的大型稀疏矩陣解決了令人驚訝的行為...

我正在計算一個線性系統Ax = b的解決方案,其中A具有一個大的(通常200,000行和相關的密集矩陣的列)稀疏矩陣和ba稀疏矩陣,大約100列。

當我在Windows系統上運行代碼(Python2.7,scipy0.14.0)時,以下命令

fromscipy.sparse.linalgimportspsolve...Temp=spsolve(A.tocsc(),b.tocsc())

運行平穩,需要大約7 GB的內存。

在Linux系統上以完全相同的矩陣(完全相同的CPU,相同的RAM內存:64 GB,Linux Mint17.3,python2.7,scipy0.13.3)運行完全相同的代碼需要超過20 GB的內存,并且崩潰以下錯誤消息:

failed with UMFPACK_ERROR_out_of_memory(參見1)

因為此錯誤是依賴于操作系統的,我排除了關于矩陣的任何問題,一個和b(與所提到的一些解決方案,在這個崗位),以及我試圖找到一個解決具體到Linux ...但我不知道從哪里開始...有人會對發生的事情有任何想法嗎?以及為什么這樣的問題特定于Linux系統?

請在下面找到完整的錯誤消息:

Exception in Tkinter callback

Traceback (most recent call last):

File "/usr/lib/python2.7/lib-tk/Tkinter.py", line 1489, in __call__

return self.func(*args)

File "...", line 1533, in mmvConstruction

...

File "...", line 1555, in modes_cb

Temp = spsolve(k[inter][:,inter].tocsc(),k[inter][:,exter].tocsc())

File "/usr/lib/python2.7/dist-packages/scipy/sparse/linalg/dsolve/linsolve.py", line 151, in spsolve

Afactsolve = factorized(A)

File "/usr/lib/python2.7/dist-packages/scipy/sparse/linalg/dsolve/linsolve.py", line 352, in factorized

umf.numeric(A)

File "/usr/lib/python2.7/dist-packages/scipy/sparse/linalg/dsolve/umfpack/umfpack.py", line 450, in numeric

umfStatus[status]))

RuntimeError: failed with UMFPACK_ERROR_out_of_memory

ezdPi.png

更新:仍在嘗試尋找解決方案...看來Linux Mint上BLAS的最新版本相當老:1.8.2。在Windows上,我使用BLAS 1.9.1。使用test_numpy.py此處提供的文件時:https://gist.github.com/osdf/3842524#file-test_numpy-py我注意到Linux和Windows之間存在非常顯著的差異:Linux:版本1.8.2,maxint 9223372036854775807,點:0.76 s -視窗:版本1.9.1,MAXINT 2147483647,點:0037秒。我正在研究Linux上的OPENBLAS是否可以解決此問題...

更新2:我意識到問題可能與硬件有關。確實,一臺舊的PC在相同的Linux Mint發行版(Rosa 17.3)上具有完全相同的庫,可以提供令人滿意的結果。第一次更新中提到的基準在此舊PC上提供了:Linux:版本1.8.2,maxint 9223372036854775807,點:0,054 s。

解決方案

好了,經過深入的研究,我現在確信我遇到的問題與以下事實有關:Linux Mint(Rosa 17.3)可能未針對最新處理器進行優化。

我在帖子更新中提到的比較結果強調該軟件安裝正確。然后,我在PC上安裝了Fedora 23,并按順序安裝:

libblas

蟒蛇

python-scipy

然后,我使用完全相同的矩陣運行了完全相同的代碼,并且沒有任何問題:RAM消耗限制為大約7 GB,這與Windows系統上觀察到的情況類似。

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/539704.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/539704.shtml
英文地址,請注明出處:http://en.pswp.cn/news/539704.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

簡簡單單的代碼讓你輕松學會 動態代理

原文出處:http://weixiaolu.iteye.com/blog/1477774 -------------------------------------------------------------------------- 簡簡單單的代碼讓你輕松學會動態代理 前言: 最近一直在分析hadoop的RPC機制。在hadoop中,DataNode和Na…

python變量和字符_Python變量和字符串

我需要知道Python中的變量是字符串(名稱)還是數字。我想檢查圖的度數,但是我需要知道“I”迭代器是字符串內部的一個數字還是字符串內的一個名稱,在末尾顯示了圖的度數。在這個代碼有什么問題嗎?在import csv, sysimport networkx as nxdef m…

Adobe軟件打開后設置默認頁面方式和默認鼠標方式

PDF文件打開后是默認顯示,與顯示器比例不協調,或大或小,總是需要手動調節閱讀方式,解決方法如下: Adobe軟件中可以設置默認頁面方式,具體步驟如下: 編輯 (Edit)-首選項(Preferences)-輔助工具…

CSS深入理解學習筆記之vertical-align

1、vertical-align基本認識 支持的屬性值: ①線類:baseline(默認),top,middle,bottom ②文本類:text-top,text-bottom ③上標下標類:sub,super ④…

Java NIO原理 圖文分析及代碼實現

原文出處:http://weixiaolu.iteye.com/blog/1479656 ---------------------------------------------------------------------- Java NIO原理圖文分析及代碼實現 前言: 最近在分析hadoop的RPC(Remote Procedure Call Protocol ,遠程過程調用協議&am…

威綸通觸摸屏與mysql_威綸觸摸屏應用實例 以及威綸通觸摸屏配方組合

在生產車間,每臺設備運作起來都會有各自的組合參數,每臺設備運作的時候產生的數據即構成配方表,每張配方表內可建立多組配方數據,這些多臺機器的配方數據都可儲存在人機里,以供控制器(PLC)執行相對應的任務。從“包裝機…

分析師視角:2018年的數據中心3大預測

向數字業務平臺的遷移促使基礎設施和運營(I&O)領導者必須重新去思考他們的數據中心策略。像人工智能這樣的數字業務平臺,包括機器學習(ML)、深度神經網絡(DNN)和物聯網,對IT基礎設施有敏捷和可伸縮性等方面的計算需求。在2018年,I&O領…

大數據實時處理:百分點實時計算架構和算法

原文:http://www.oschina.net/question/1459174_145255 百分點官網:http://www.baifendian.com/ ------------------以下正文---------------------- 當今時代,數據不再昂貴,但從海量數據中獲取價值變得昂貴,而要及時…

ELK 日志處理開發指南

ELK 是 Elastic 公司出品的開源實時日志處理與分析解決方案,ELK 分別代表分布式搜索引擎 Elasticsearch、日志采集與解析工具 Logstash、日志可視化分析工具Kibana,具有配置方式靈活、集群可線性擴展、日志實時導入、檢索性能高效、可視化分析方便等優點…

UNION 和UNION ALL 的區別

UNION:的結果集沒有重復行,且安union默認的排序規則進行排序了。 UNION ALL:的結果集,如果各表有重復行就有重復行,不刪重復行,不排序。 ------------------------- 在數據庫中,UNION和UNION…

mysql connector 教程_MySQL Connector/C++入門教程(上)

目錄MySQL C Driver的實現基于JDBC4.0規范安裝MySQL Connector/C運行時依賴C IDE為示例程序創建數據庫與數據表使用Connector/C測試數據庫連接使用prepared Statements使用事務訪問Result Set Metadata訪問Database Metadata通過PreparedStatment對象訪問參數元數據捕獲異常調試…

14-項目開發總結報告(GB8567——88)

項目開發總結報告(GB8567——88)1引言1.1編寫目的說明編寫這份項目開發總結報告的目的,指出預期的閱讀范圍。1.2背景說明:a. 本項目的名稱和所開發出來的軟件系統的名稱;b. 此軟件的任務提出者、…

Oracle 并行查詢

所謂并行執行,是指能夠將一個大型串行任務(任何DML,一般的DDL)物理的劃分為叫多個小的部分,這些較小的部分可以同時得到處理。 何時使用并行執行: 1、必須有一個非常大的任務 2、必須有充足的資源(CPU,I…

python中求二維數組元素之和_python二維列表求解所有元素之和

相信很多初學小伙伴都會遇到二維列表求解所有元素之和問題,下面給出兩種兩種常見的求和方法。 方法1: 思想:遍歷整個二維列表元素,然后將所有元素加起來 1 def Sum_matrix(matrix): 2 sum=0 3 for i in range(len(matrix)): 4 for j in range(len(matrix[i])): 5 sum+=matr…

maven 國內私服

2019獨角獸企業重金招聘Python工程師標準>>> <repositories> <repository> <id>aliyun-cache</id> <name>aliyun-cache</name> <url>http://maven.aliyun.com/nexus/content/groups/public&…

mysql添加約束之前不滿足_MySQL:添加約束(如果不存在)

小編典典有趣的問題。您可能需要在調用CREATE TABLE語句之前禁用外鍵&#xff0c;然后再啟用它們。這將允許您直接在CREATE TABLEDDL中定義外鍵&#xff1a;例&#xff1a;SET FOREIGN_KEY_CHECKS 0;Query OK, 0 rows affected (0.00 sec)CREATE TABLE IF NOT EXISTS rabbits …

oracle函數trunc的使用

原文&#xff1a;http://blog.csdn.net/eleven204/article/details/6712538 -------------------------------------- 1、日期比較時精確到日&#xff0c;可以使用 TRUNC(sysdate,dd)函數。 函數支持格式有&#xff1a;yyyy MM dd hh Mi&#xff0c;沒有精確到 秒 可以用 se…

Mycat快速入門

1.Mycat介紹 Mycat 是一個開源的分布式數據庫系統&#xff0c;是一個實現了 MySQL 協議的的Server&#xff0c;前端用戶可以把它看作是一個數據庫代理&#xff0c;用 MySQL 客戶端工具和命令行訪問&#xff0c;而其后端可以用MySQL 原生&#xff08;Native&#xff09;協議與多…

python字符串常量有什么區別_Python經典面試題:is與==的區別

is用于判斷兩個對象是否為同一個對象&#xff0c;具體來說是兩個對象在內存中的位置是否相同。python為了提高效率&#xff0c;節省內存&#xff0c;在實現上大量使用了緩沖池技術和字符串intern技術。整數和字符串是不可變對象&#xff0c;也就意味著可以用來共享&#xff0c;…

left join、right join、inner join的區別

left join(左聯接) 返回包括左表中的所有記錄和右表中聯結字段相等的記錄 right join(右聯接) 返回包括右表中的所有記錄和左表中聯結字段相等的記錄 inner join(等值連接) 只返回兩個表中聯結字段相等的行 舉例如下&#xff1a; ----------------------------------------…