問題背景

本人想再本地筆記本電腦上搭建一個mistral-7b的大模型，在搭建的過程中，出現了4-bit量化模式無法處理的問題，以及電腦內存/顯存不足的問題，導致無法搭建

電腦硬件信息

名稱：2019 Mac book pro
內存：32G
硬盤：512G
無獨立顯卡

大模型信息

名稱：mistralai/Mixtral-8x7B-Instruct-v0.1
下載地址：https://huggingface.co/mistralai/Mixtral-8x7B-Instruct-v0.1
文件個數：36
文件總大小:177G
模型特點：開源 ｜ 免費

錯誤信息

4-bit量化錯誤

啟用4-bit量化模式時，需要安裝最新的bitsandbytes模塊，當前（2025.06.18）該模塊最新的版本是0.46，但是由于蘋果電腦芯片的原因，pytorch并未出macos版本的，故適配于macos版本的當前只停留在了0.42版本，無法升級。可以參考這篇文章。故無法搭建

電腦內存/顯存不足錯誤

這個問題就是電腦硬件的問題了，內存或者是顯存不足，導致無法分配空間

解決方式

1、別搭建了，早點洗洗睡
2、選擇云服務器，但是成本可能就高了
3、自己擁有一個性能比較強悍的筆記本 or 臺式機 or 服務器。
備注：有錢人選擇，你值得擁有

END