---

1.環境需要

以下是經實驗驗證可行的環境參考，也可嘗試其他版本。

（1）PC：Ubuntu 22.04.4

（2）軟件環境：如下表所示

工具	版本	安裝
Anaconda	2021.05	參考：Anaconda3安裝及使用
cmake	3.26.0	conda install -c conda-forge cmake ; conda install -c conda-forge c-compiler ; conda install -c conda-forge cxx-compiler
make	4.4.1	conda install -c conda-forge make
ndk	android-ndk-r26c	官網下載解壓，設置環境變量
adb	1.0.41	conda install -c conda-forge adb
git	2.34.1	sudo apt-get update ; sudo apt-get install git
git-lfs	3.6.0	sudo apt-get install git-lfs

2.構建項目

（1）克隆項目：

git lfs install
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp

（2）PC構建：

cmake -B build
cmake --build build --config Release

（3）下載文件：

去hf-mirror.com下載gguf模型，以MobileVLM為例：

# https://hf-mirror.com/guinmoon/MobileVLM-1.7B-GGUF/tree/main
git lfs install
git clone https://hf-mirror.com/guinmoon/MobileVLM-1.7B-GGUF  ./models/MobileVLM-1.7B-GGUF
git clone https://hf-mirror.com/guinmoon/MobileVLM-3B-GGUF  ./models/MobileVLM-3B-GGUF

將你想推理的image.jpg放到./img目錄。

3.PC測試

./build/bin/llama-llava-cli \-m ./models/MobileVLM-1.7B/ggml-model-q4_k.gguf \--mmproj ./models/MobileVLM-1.7B/mmproj-model-f16.gguf \--image ./img/image.jpg \-p "圖像中有什么內容？"

.

---

聲明：資源可能存在第三方來源，若有侵權請聯系刪除！