極簡 5 步:Ubuntu+RTX4090 源碼編譯 vLLM

極簡 5 步:Ubuntu+RTX4090 源碼編譯 vLLM

    • 1. 系統依賴(一次性)
    • 2. 進入源碼目錄 & 激活環境
    • 3. 啟用 ccache + 自動并行度
    • 4. 拉代碼 + 編譯(2 行搞定)
    • 5. 更新 flash-attn(與 vLLM 配套)
    • 6. 啟動 4 卡 MiniCPM-V-4


1. 系統依賴(一次性)

sudo apt install -y build-essential git cmake ninja-build ccache

? 安裝完成后,后續無需再動系統


2. 進入源碼目錄 & 激活環境

cd /root/myvllm/vllm_main
conda activate vllm_main

3. 啟用 ccache + 自動并行度

export CC="ccache gcc"
export CXX="ccache g++"
export NVCC="ccache nvcc"
export CCACHE_NOHASHDIR=trueCORES=$(nproc)
MEM_GB=$(free -g | awk 'NR==2{print $7}')
MAX_JOBS=$(( MEM_GB / 2 ))
[[ $MAX_JOBS -eq 0 ]] && MAX_JOBS=1
[[ $MAX_JOBS -gt $CORES ]] && MAX_JOBS=$CORES
export MAX_JOBS
echo "本次編譯 MAX_JOBS=$MAX_JOBS"

4. 拉代碼 + 編譯(2 行搞定)

git pull
pip install -r requirements/build.txt
pip install --no-build-isolation -e . -U
  • 首次 ≈ 5-10 min
  • 增量 ≈ 30 s

5. 更新 flash-attn(與 vLLM 配套)

pip install flash_attn==2.8.0.post2 -U

6. 啟動 4 卡 MiniCPM-V-4

vllm serve /root/HuggingFaceCache/MiniCPM-V-4 \--tensor-parallel-size 4 \--gpu-memory-utilization 0.85 \--served-model-name gpt-4o \--trust-remote-code

完結!

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/diannao/95128.shtml
繁體地址,請注明出處:http://hk.pswp.cn/diannao/95128.shtml
英文地址,請注明出處:http://en.pswp.cn/diannao/95128.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

生產工具革命:定制開發開源AI智能名片S2B2C商城小程序重構商業生態的范式研究

摘要互聯網作為信息工具已深刻改變商業生態,但其本質仍停留在效率優化層面。本文提出,基于定制開發開源AI智能名片與S2B2C商城小程序的深度融合,正在引發生產工具層面的革命性變革。該技術架構通過重構"人-貨-場"關系,實…

Transformer前傳:Seq2Seq與注意力機制Attention

前言 參考了以下大佬的博客 https://blog.csdn.net/v_july_v/article/details/127411638 https://blog.csdn.net/andy_shenzl/article/details/140146699 https://blog.csdn.net/weixin_42475060/article/details/121101749 https://blog.csdn.net/weixin_43334693/article/det…

企業架構工具篇之ArchiMate的HelloWorld(2)

本文通過ArchiMate做一個員工報銷流程設計的小demo,按照步驟都可以做出來,在做這個demo之前先簡單認識下Archimate的開發界面: 模型樹(Models)窗口:通常位于左上方,以樹形結構展示一個或多個 ArchiMate 模型。用戶可在此瀏覽模型的整體結構,快速定位到特定的模型元素,…

Docker 詳解(保姆級安裝+配置+使用教程)

文章目錄一、初識 Docker二、Docker 命令1、安裝2、配置鏡像加速器檢查配置是否生效3、服務相關命令4、鏡像相關命令5、容器相關命令三、Docker 容器數據卷1、數據卷概念2、數據卷作用3、配置數據卷4、配置數據卷容器四、Docker 應用部署五、備份與遷移六、Dockerfile七、Docke…

做調度作業提交過程簡單介紹一下

?作業提交與執行流程前文提到在 Linux 的 HPC 或超算環境中,可以只在共享存儲上安裝一次應用程序,然后所有計算節點通過掛載共享目錄來訪問和執行這些程序,那么作業提交及執行過程是怎么樣的流程呢?結構說明:第一行是…

【Altium designer】解決報錯“Access violation at address...“

問題現象如上AD9原理圖工程所示報錯,當我關閉這個“CMM-WEIER-VA”原理圖工程以及其他不相關的原理圖工程出現報錯:Access violation at address 0832A5EC in module WorkspaceManager.DLL. Read of address 00000061 at 0832A5EC,任務管理器…

小杰python高級(three day)——numpy庫

1.numpy數組的操作(1)數組的連接stack該函數可以實現多個數組的堆疊(連接),會創建新的軸,用于沿著新的軸連接一系列數組,所有數組必須具有相同的形狀。可以增加數組的維度。假設輸入的每個數組都是 n 維數組&#xff0…

視頻剪輯的工作流程

準備素材 1.準備音頻,視頻、圖片等素材 2.準備Pr創建的序列、彩條、字母、倒計時片頭等功能性素材 創建項目 創建項目是詩篇剪輯的第一步,創建一個指定名稱與存放位置的項目文件,用來通義管理整個視頻項目創建序列 序列決定剪輯的尺寸、幀速率…

下一個排列 的 思路總結

文章目錄思路分析: 倒序遍歷:題目要求的是下一個排列,那么肯定數字的跳躍不能太大,所以可以比較好確定的是,遍歷的順序是倒序遍歷比較方向:對于每一個數字,需要找到右邊最大的比它小的數字&…

Spring Cloud-面試題(49)

摘要: 1、通俗易懂,適合小白 2、僅做面試復習用,部分來源網絡,博文免費,知識無價,侵權請聯系! 1. 什么是Spring Cloud框架?子項目哪幾大類? Spring Cloud是一套分布式系…

資源查看-iostat命令

文章目錄 系統中未安裝 iostat 命令 1. 監控CPU與磁盤的基礎負載 2. 診斷I/O性能瓶頸 3. 實時監控與動態采樣 4. 特定設備或分區的精細化監控 5. 性能測試與基準數據生成 6. 結合其他工具進行綜合調優 總結 結果輸出速查表 第一部分:CPU統計信息 第二部分:設備/磁盤統計信息(…

STM32 HAL庫外設編程學習筆記

STM32 HAL庫外設編程 1. 概述 本文檔是基于STM32 HAL庫的外設編程學習筆記,主要包括以下外設的配置和使用方法: GPIO:通用輸入輸出接口ADC:模數轉換器UART:通用異步收發器TIM:定時器I2C:內部…

DHCP服務配置與管理實戰指南

DHCP 服務配置與管理筆記 一、DHCP 核心概念 1. DHCP 定義與功能 DHCP (Dynamic Host Configuration Protocol):動態主機配置協議核心功能: 自動分配 IP 地址提供子網掩碼、網關、DNS 等網絡參數管理 IP 地址租約周期 典型應用:ADSL撥號、企業…

WebSocket 在多線程環境下處理 Session并發

WebSocket 在多線程環境下處理 Session并發時,常見問題包括狀態沖突(如 IllegalStateException)、消息亂序、連接超時等。以下是綜合各技術方案的解決方案,分為單機多線程和分布式集群兩類場景:🔒 一、單機…

JDBC的連接過程(超詳細)

JDBC(Java Database Connectivity)是 Java 用于訪問數據庫的標準 API,它允許 Java 程序與各種不同類型的數據庫進行交互, 其連接數據庫的過程主要包含以下幾個步驟:1. 導入 JDBC 驅動依賴在使用 JDBC 連接數據庫之前&a…

本地WSL部署接入 whisper + ollama qwen3:14b 總結字幕校對增強版

1. 實現功能 M4-4: 校對增強版 (最終完全體) 本腳本是整個 Module 的最終形態,采用了“代碼預處理 LLM校對”的終極方案: 代碼預處理: 確定性地在每個語音片段后添加逗號,生成一份“標點草稿”。LLM校對: LLM 的任務被簡化為“校對和修正”這…

MySQL數據庫簡介

1 簡介 MySQL是一個關系型數據庫管理系統,由瑞典 MySQL AB公司開發,屬于 Oracle 旗下產品,是當今最流行的關系型數據庫管理系統之一,在 WEB應用方面,MySQL是最好的RDBMS (Relational Database Management System&#…

[Oracle] UNPIVOT 列轉行

Oracle數據庫中的UNPIVOT是一種用于將列轉換為行的SQL操作,它允許用戶將多個列的數據轉換為多行的形式,以便進行更靈活的數據分析和報表生成UNPIVOT主要用于將寬表(多列)轉換為長表(多行),減少表的列數,增加行數語法格式SELECT pi…

node.js 學習筆記3 HTTP

path模塊 path模塊主要用于操作路徑。要使用path,首先需要引入path模塊。require(path) path.resolve 用于拼接規范的絕對路徑。 如果想拼接一個路徑,有時候是使用字符串手動拼接的,但由于系統的規范不同,路徑中的\和/無法統一…

Flutter Dialog、BottomSheet

屬性說明title標題content內容actions按鈕applicationName說明文字applicationVersion版本applicationLegalese版本基本使用class MyState extends State {AlertDialog delDialog(BuildContext context) {AlertDialog alertDialog AlertDialog(title: Text("提示"),…