安裝flash-attention失敗的終極解決方案(WINDOWS環境)

想要看linux版本下安裝問題的請走這里:安裝flash-attention失敗的終極解決方案(LINUX環境)

其實,現在的flash-attention不像 v2.3.2之前的版本,基本上不兼容WINDOWS環境。但是在WINDOWS環境安裝總還是有那么一點不順暢,所以我做了一個簡單的總結,希望能幫到大家。
今天是2025年5月29日。最近在WINDOWS系統上測試成功的AI項目,要用到flash-attention,但是因為那時候忙,就忘了截圖,所以把幾個關鍵點跟大家說一下。
本人的WINDOWS環境下成功的版本,基礎環境:

1、Python==3.9.21(其實我好像試過Python3.10、3.11好像也能成功)。
2、顯卡:RTX 3060
3、nvidia-smi:576.40
4、cuda:12.9 (cuda版本其實降一點應該也可以,沒詳細測試)

pip環境(Python==3.9.21,pip版本25.1.1):
1、torch==2.5.1+cu121
2、torchvision==0.20.1+cu121
3、ninja==1.11.1.4
4、flash_attn==2.7.0.post2

首先建議安裝 torch、torchvision、ninja之后再安裝flash-attention,否則安裝過程中會出問題,特別是如果自動安裝給你安裝了不合適的版本就比較麻煩了,而且ninja對于flash-attention安裝還是有加速效果的。所以我們在搭建AI框架的時候如果要用到flash-attention,建議還是手動先安裝這3個吧。

安裝ninja之后我感覺安裝flash-attention速度還是有快有慢,這可能跟Python版本,或者 torch、torchvision、ninja這些的版本有關,我記得當初安裝Python3.11的時候,flash-attention就挺快的。但是在其他Python版本的時候,flash-attention安裝的時間就挺慢(好幾個小時),但安裝都是成功的,沒有失敗。

這里特別要說明的就是這個flash_attn==2.7.0.post2,torch、torchvision、ninja安裝之后我一開始安裝其他版本的flash_attn也是成功的,但是在測試flash_attn版本(import flash_attn; print(flash_attn.__version__)) 卻報錯了(沒截圖)。
后來問deepseek,它給我的回答要安裝的flash_attn版本在WINDOWS版本庫里面也沒有。告訴了deepseek我是WINDOWS系統它也沒給我一個準確答案要裝flash_attn哪個版本才對,后來自己摸索了在以上torch、torchvision、ninja版本下,flash_attn==2.7.0.post2是不光安裝成功,測試也順利成功了。

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/bicheng/82982.shtml
繁體地址,請注明出處:http://hk.pswp.cn/bicheng/82982.shtml
英文地址,請注明出處:http://en.pswp.cn/bicheng/82982.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

[C]基礎16.數據在內存中的存儲

博客主頁:向不悔本篇專欄:[C]您的支持,是我的創作動力。 文章目錄 0、總結1、整數在內存中的存儲1.1 整數的二進制表示方法1.2 不同整數的表示方法1.3 內存中存儲的是補碼 2、大小端字節序和字節序判斷2.1 什么是大小端2.2 為什么有大小端2.3…

Python 基于卷積神經網絡手寫數字識別

Ubuntu系統:22.04 python版本:3.9 安裝依賴庫: pip install tensorflow2.13 matplotlib numpy -i https://mirrors.aliyun.com/pypi/simple 代碼實現: import tensorflow as tf from tensorflow.keras.models import Sequent…

ElectronBot復刻-電路測試篇

typec-16p 接口部分 USB1(Type - C 接口):這是通用的 USB Type - C 接口,具備供電和數據傳輸功能。 GND 引腳(如 A1、A12、B1、B12 等):接地引腳,用于提供電路的參考電位&#xff0…

ESP8266+STM32 AT驅動程序,心知天氣API 記錄時間: 2025年5月26日13:24:11

接線為 串口2 接入ESP8266 esp8266.c #include "stm32f10x.h"//8266預處理文件 #include "esp8266.h"//硬件驅動 #include "delay.h" #include "usart.h"//用得到的庫 #include <string.h> #include <stdio.h> #include …

CDN安全加速:HTTPS加密最佳配置方案

CDN安全加速的HTTPS加密最佳配置方案需從證書管理、協議優化、安全策略到性能調優進行全鏈路設計&#xff0c;以下是核心實施步驟與注意事項&#xff1a; ??一、證書配置與管理?? ??證書選擇與格式?? ??證書類型??&#xff1a;優先使用受信任CA機構頒發的DV/OV/EV證…

【前端】Twemoji(Twitter Emoji)

目錄 注意使用Vue / React 項目 驗證 Twemoji 的作用&#xff1a; Twemoji 會把你網頁/應用中的 Emoji 字符&#xff08;如 &#x1f604;&#xff09;自動替換為 Twitter 風格的圖片&#xff08;SVG/PNG&#xff09;&#xff1b; 它不依賴系統字體&#xff0c;因此在 Android、…

GCN圖神經網絡的光伏功率預測

一、GCN圖神經網絡的核心優勢 圖結構建模能力 GCN通過鄰接矩陣&#xff08;表示節點間關系&#xff09;和節點特征矩陣&#xff08;如氣象數據、歷史功率&#xff09;進行特征傳播&#xff0c;能夠有效捕捉光伏電站間的空間相關性。其核心公式為&#xff1a; H ( l 1 ) σ (…

按照狀態實現自定義排序的方法

方法一&#xff1a;使用 MyBatis-Plus 的 QueryWrapper 自定義排序 在查詢時動態構建排序規則&#xff0c;通過 CASE WHEN 語句實現優先級排序&#xff1a; import com.baomidou.mybatisplus.core.conditions.query.QueryWrapper; import org.springframework.stereotype.Ser…

【計算機網絡】IPv6和NAT網絡地址轉換

IPv6 IPv6協議使用由單/雙冒號分隔一組數字和字母&#xff0c;例如2001:0db8:85a3:0000:0000:8a2e:0370:7334&#xff0c;分成8段。IPv6 使用 128 位互聯網地址&#xff0c;有 2 128 2^{128} 2128個IP地址無狀態地址自動配置&#xff0c;主機可以通過接口標識和網絡前綴生成全…

【Redis】string

String 字符串 字符串類型是 Redis 最基礎的數據類型&#xff0c;關于字符串需要特別注意&#xff1a; 首先 Redis 中所有的鍵的類型都是字符串類型&#xff0c;而且其他幾種數據結構也都是在字符串的基礎上構建的。字符串類型的值實際可以是字符串&#xff0c;包含一般格式的…

基于ELK的分布式日志實時分析與可視化系統設計

目錄 一、ELK平臺介紹 1.ELK概述 2.Elasticsearch 3.Logstash 4.Kibana 二、部署ES群集 1.資源清單 2.基本配置 3.安裝Elasticsearch&#xff08;elk1上、elk2上、elk3上&#xff09; 4.安裝logstash&#xff08;elk1上&#xff09; 5.Filebeat 6.安裝Kibana&#x…

電機控制選 STM32 還是 DSP?技術選型背后的現實博弈

現在搞電機控制&#xff0c;圈里人都門兒清 —— 主流方案早就被 STM32 這些 Cortex-M 單片機給拿捏了。可要是撞上系統里的老甲方&#xff0c;技術認知還停留在諾基亞砸核桃的年代&#xff0c;非揪著 DSP 不放&#xff0c;咱也只能賠笑臉&#xff1a;“您老說的對&#xff0c;…

【案例分享】藍牙紅外線影音遙控鍵盤:瑞昱RTL8752CJF

藍牙紅外線影音遙控鍵盤 Remotec的無線控制鍵盤采用瑞昱藍牙RTL8752CJF解決方案&#xff0c;透過藍牙5.0與手機配對后&#xff0c;連線至 Remotec 紅外 code server 取得對應影音視覺設備的紅外 code后&#xff0c;即可控制多達2個以上的影音視覺設備&#xff0c;像是智能電視…

PostgreSQL如何更新和刪除表數據

這節說下怎樣更新和刪除表數據&#xff0c;當然認識命令了&#xff0c;可以問AI幫忙寫。 接上節先看下天氣表weather的數據&#xff0c;增加了杭州和西安的數據&#xff1a; 一.UPDATE更新命令 用UPDATE命令更新現有的行。 假設所有 杭州 5月12日的溫度低了兩度&#xff0c;用…

簡單三步FastAdmin 開源框架的安裝

簡單三步FastAdmin 開源框架的安裝 第一步&#xff1a;新建站點1&#xff0c;在寶塔面板中&#xff0c;創建一個新的站點&#xff0c;并填寫項目域名。 第二步&#xff1a;上傳框架1&#xff0c;框架下載2&#xff0c;上傳解壓縮 第三步&#xff1a;配置并安裝1&#xff0c;進入…

使用 pytesseract 構建一個簡單 OCR demo

簡介 pytesseract 庫是 Google Tesseract OCR &#xff08;光學字符識別&#xff09;引擎的一個 Python 封裝庫&#xff0c;使用廣泛且功能強大。 構建 使用 pytesseract 構建一個簡單 OCR demo。 步驟一&#xff1a;安裝必要的庫 您需要在您的 Python 環境中安裝 pytessera…

十三: 神經網絡的學習

這里所說的“學習”是指從訓練數據中自動獲取最優權重參數的過程。為了使神經網絡能進行學習&#xff0c;將導入損失函數這一指標。而學習的目的就是以該損失函數為基準&#xff0c;找出能使它的值達到最小的權重參數。為了找出盡可能小的損失函數的值&#xff0c;我們將介紹利…

AWS 創建VPC 并且添加權限控制

AWS 創建VPC 并且添加權限控制 以下是完整的從0到1在AWS中創建VPC并配置權限的步驟&#xff08;包含網絡配置、安全組權限和實例訪問&#xff09;&#xff1a; 1. 創建VPC 步驟&#xff1a; 登錄AWS控制臺 訪問 AWS VPC控制臺&#xff0c;點擊 創建VPC。 配置基礎信息 名稱…

ICASSP2025丨融合語音停頓信息與語言模型的阿爾茲海默病檢測

阿爾茲海默病&#xff08;Alzheimers Disease, AD&#xff09;是一種以認知能力下降和記憶喪失為特征的漸進性神經退行性疾病&#xff0c;及早發現對于其干預和治療至關重要。近期&#xff0c;清華大學語音與音頻技術實驗室&#xff08;SATLab&#xff09;提出了一種將停頓信息…

C# 導出word 插入公式問題

最近遇到了一個問題&#xff0c;下載一個文檔時需要下載word可編輯的公式。找了很久終于找到了一種解決辦法。下面是以C#代碼來實現在Word中插入公式的功能。 目錄 一、引入dll程序集文件1、通過 NuGet 引入dll&#xff08;2種方法&#xff09;的方法&#xff1a;2、手動添加d…