CuML + Cudf (RAPIDS) 加速python數據分析腳本

如果有人在用Nvidia RAPIDS加速pandas和sklearn等庫,請看我這個小示例,可以節省你大量時間。

1. 創建環境

請使用uv,而非conda/mamba。


# install uv if not yetcurl -LsSf https://astral.sh/uv/install.sh | shuv init data_gpucd data_gpuuv venv --python 3.12source .venv/bin/activate# 大的要來了# 使用阿里云開源鏡像uv pip install \-i http://mirrors.aliyun.com/pypi/simple/ \--extra-index-url=https://pypi.nvidia.com \"cudf-cu12==25.4.*" "cuml-cu12==25.4.*" \"polars[pandas,numpy,pyarrow,style,plot,excel,gpu]" \polars-u64-idx scikit-learn scipy statsmodels tqdm ipykernel jupyter --prerelease=allow --index-strategy unsafe-best-match

2. 在腳本中啟用

import cudf.pandas
cudf.pandas.install()
from cuml.accel.core import install as cuml_install
cuml_install(disable_uvm=False)
import pandas as pd
import polars as pl
import numpy as np
from sklearn.decomposition import PCA
from sklearn.preprocessing import StandardScaler

現在,pandas, sklearn, polars都有GPU加持。但是并非所有函數都受支持。具體情況自己去看官方文檔。

另外,不要使用 python -m cuml.accel my_script.py,這樣你就無法向my_script.py傳自己的參數。

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/903475.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/903475.shtml
英文地址,請注明出處:http://en.pswp.cn/news/903475.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

2-SAT之完美塔防

小N最近喜歡玩一款塔防游戲。 題目描述 這款游戲的棋盤是一個 nm 的網格,每個格子上會有以下類型物件: A 型炮臺:會向上下兩個方向同時發射激光,符號為 |;B 型炮臺:會向左右兩個方向同時發射激光,符號為…

【android bluetooth 案例分析 03】【PTS 測試 】【PBAP/PCE/SSM/BV-02-C】

1. 測試介紹 PBAP/PCE/SSM/BV-02-C [PCE Closes a PBAP Session] 1. Test Purpose Verify that the PCE can terminate a PBAP session. 2. Initial Condition IUT: The IUT is engaged in a PBAP session with the Lower Tester.Lower Tester: The Lower Tester is engag…

ArcGIS:開啟洪水災害普查、評估與制圖新征程

技術點目錄 一、洪水普查技術規范解讀二、ArcGIS介紹及數據管理三、空間數據的轉換與處理四、洪水淹沒專題地圖制作五、矢量數據的采集與處理六、柵格數據的下載與處理七、ArcGIS水文分析八、ArcGIS洪水分析九、ArcGIS淹沒分析了解更多 ———————————————————…

【系統參數合法性校驗】spring-boot-starter-validation

JSR303校驗 統一校驗的需求 前端請求后端接口傳輸參數,是在controller中校驗還是在Service中校驗? 答案是都需要校驗,只是分工不同。 Contoller中校驗請求參數的合法性,包括:必填項校驗,數據格式校驗&…

[零基礎]內網ubuntu映射到云服務器上,http訪問(frp內網穿透)

阿里云服務器,高校教師可以半價, frp下載地址:https://github.com/fatedier/frp/releases,選amd64, 云服務器開放端口 選擇網絡與安全–>安全組->管理規則 配置開放端口,7000為支持frp開放的端口&…

第十六屆藍橋杯 2025 C/C++組 破解信息

目錄 題目: 題目描述: 題目鏈接: 思路: 思路詳解: 代碼: 代碼詳解: 題目: 題目描述: 題目鏈接: P12344 [藍橋杯 2025 省 B/Python B 第二場] 破解信息…

OpenAI Embedding 和密集檢索(如 BERT/DPR)進行語義相似度搜索有什么區別和聯系

OpenAI Embedding 和密集檢索(如 BERT/DPR)其實是“同一種思想的不同實現”,它們都屬于Dense Retrieval(密集向量檢索),只不過使用的模型、部署方式和調用方式不同。 🧠 首先搞清楚:…

Linux電源管理(3)_關機和重啟的過程

原文:Linux電源管理(3)_Generic PM之重新啟動過程 1.前言 在使用計算機的過程中,關機和重啟是最先學會的兩個操作。同樣,這兩個操作在Linux中也存在,可以關機和重啟。這就是這里要描述的對象。在Linux Ke…

C# 繼承詳解

繼承是面向對象程序設計(OOP)中的核心概念之一,它極大地增強了代碼的重用性、擴展性和維護性。本篇文章將詳細講解C#中的繼承機制,包括基礎概念、語法特法、多重繼承(通過接口實現)、繼承的規則和實際應用示…

SQLAlchemy 2.x 異步查詢方法比較

SQLAlchemy 2.x 異步查詢中常用的 結果處理方法速查表,包含方法說明、使用場景、返回類型及典型用途。 SQLAlchemy 查詢結果處理方法速查表(適用于 AsyncSession) 方法 說明 返回類型 示例 SQL 示例輸出 scalars().all() 獲取單列所有…

極客天成參與”AI助力智慧城市構建”主題演講暨招商引智專題推介活動

4月7日下午,北京極客天成科技有限公司參加了天津市河東區數據局舉辦的“AI賦能智慧城市構建”主題演講暨招商引智專題推介活動。 活動中,華為(天津)有限公司數字政府解決方案總監姜華庚圍繞“政務大模型賦能智慧城市建設”&#x…

理解 EKS CloudWatch Pod CPU Utilization 指標:與 `kubectl top` 及節點 CPU 的關系

在使用 AWS EKS 時,CloudWatch Container Insights 提供了豐富的容器級別監控指標,幫助我們深入了解應用的運行狀態。如下截圖中的 ContainerInsights pod_cpu_utilization 指標就是一個非常重要的維度。本文將詳細解釋這個指標的含義,并將其…

使用pip3安裝軟件包報錯`externally-managed-environment`的幾種解決方式

1、pip3安裝軟件包報錯 報錯externally-managed-environment的原因: 從 Python 3.11 開始引入了 PEP 668 規范,該規范限制了在系統級 Python 環境中使用 pip 安裝第三方包,以避免與系統包管理器(如 apt)產生沖突。 如…

spring security用戶退出

Spring security默認實現了用戶退出的功能,用戶退出主要考慮退出后會話如何管理以及跳轉到哪個頁面。HttpSecurity類提供了logout()方法開啟退出登錄的支持,默認觸發用戶退出操作的URL為“/logout”,用戶退出時同時也會清除Session等默認用戶…

愛普生SG2520HHN晶振數據中心服務器的理想解決方案

在當今數字化時代,數據中心作為海量數據存儲、處理與傳輸的核心樞紐,其服務器的高效穩定運行至關重要。服務器作為其核心設備,對時鐘信號的精度和穩定性提出了嚴苛要求——微小的時序誤差可能導致數據傳輸失敗或系統宕機。愛普生 SG2520HHN 差…

LeetCode 155題解 | 最小棧

最小棧 一、題目鏈接二、題目三、算法原理思路1:用一個變量存儲最小元素思路2:雙棧普通棧和最小棧 四、編寫代碼五、時間復雜度 一、題目鏈接 最小棧 二、題目 三、算法原理 棧用數組、鏈表實現都行,最主要的就是在能在常數時間內檢索到最…

es+kibana---集群部署

其實一般es要跑3個節點的,這樣才能做高可用,處理并發大,但是我這里只是一個pod mkdir -p /stroe/data/es es搭建: #【拉取鏡像】 #docker pull elasticsearch:6.8.7 #docker pull busybox:1.28 【導入鏡像】 docker load -i es.…

WPF常用技巧匯總 - Part 2

WPF常用技巧匯總-CSDN博客 主要用于記錄工作中發現的一些問題和常見的解決方法。 目錄 WPF常用技巧匯總-CSDN博客 1. DataGrid Tooltip - Multiple 2. DataGrid Tooltip - Cell值和ToolTip值一樣 3. DataGrid Tooltip - Cell值和ToolTip值不一樣 4. DataGrid - Ctrl A /…

uniapp打包apk如何實現版本更新

我們做的比較簡單,在后端設置版本號,并在uniapp的config.js中定義版本號,每次跟后端的進行對比,不一致的話就更新。 一、下載apk 主要代碼(下載安裝包,并進行安裝,一般得手動同意安裝&#xf…

局部和整體的關系

Prompt:為什么要研究局部和整體的關系呢?是因為很多情況下,局部就能表達出整體? 這是一個非常本質的問題,其實你已經接近數學和物理中“幾何本質”的核心了。我們研究局部和整體的關系,是因為:…