從零Makefile落地算法大項目，完整案例教程

轉自：從零Makefile落地算法大項目，完整案例教程

作者：手寫AI

前言

在這里，你能學到基于Makefile的正式大項目的使用方式和考慮，相信我，其實可以很簡單。而且寫一次到處用，新項目復制即可用
本教程帶你一步步完成，ppt很長是因為細，內容不多
相比cmake，Makefile更加輕量簡潔，侵入性低，掌控力強。語法更少更簡單
使用Makefile你可以進行更細粒度的掌控，雖然cmake簡化了這些，但是對于大型項目，細節的掌控是必須的
對于算法落地，我們會面臨各種庫包，理清楚非常有利于降低問題的發生
這也是高級算法工程師系列課程的基礎，貫穿后續課程的存在。后續會有CUDA編程、TensorRT、基于C++實現BP、流媒體等等

準備環境

VSCode (Visual Studio Code)，作為IDE
安裝VSCode的C++插件
準備Linux系統（Ubuntu），推薦使用VSCode的SSH插件遠程連接服務器(另一個電腦)進行開發。本地電腦可以是windows/mac
熟悉C++的基本語法，我們主講Makefile但是會有C++編碼部分（不多）

GITHUB項目地址（PPT、代碼均在這里）

https://github.com/shouxieai/makefile_tutorial_project

1. g++指令介紹

1.1 g++/gcc是什么，有什么區別

g++和gcc都是gnu推出的cpp編譯器，時代不同
g++和gcc都可以進行cpp編譯
g++和gcc一樣，都屬于driver，即驅動編譯，他會調用cclplus/ccl/ld/as等指令實現編譯鏈接等工作，他們倆只是默認選項上的處理不同
這里我們采用g++而不是gcc
g++ 等價于 gcc -xc++ -lstdc++ -shared-libgcc
參考：知乎問題

1.2 g++的編譯過程

4種情況，注意指令的大小寫很重要

預處理：g++ -E main.cpp -o main.i
匯編：g++ -S main.i -o main.s
編譯：g++ -c main.s -o main.o
鏈接：g++ main.o -o main.bin

g++可以允許跨過中間步驟，例如：

g++ -S main.cpp -o main.s
g++ main.s -o main.bin
g++ main.cpp -o main.bin
結果是等價的

比較常用的是編譯-鏈接：

編譯，代碼編譯到二進制：g++ -c main.cpp -o main.o
鏈接，多個二進制鏈接成執行程序：g++ main.o -o main.bin

預處理指令效果：g++ -E main.cpp -o main.i

在這里插入圖片描述

匯編指令效果：g++ -S main.i -o main.s

在這里插入圖片描述

編譯指令效果：g++ -c main.s -o main.o

在這里插入圖片描述

鏈接指令效果：g++ main.o -o out.bin

在這里插入圖片描述

2. C++編譯鏈接 / 編譯時和運行時

2.1 C++編譯鏈接流程圖

在這里插入圖片描述

2.2 C++的聲明和實現

在這里插入圖片描述

2.3 C++的編譯過程-案例

2.3.1 代碼結構，main.cpp和test.cpp

在這里插入圖片描述

2.3.2 main.cpp的匯編代碼

在這里插入圖片描述

2.3.3 test.cpp的匯編代碼

在這里插入圖片描述

2.3.4 兩者匯編代碼對比

main.s里面沒有add函數的具體實現，只有call add操作
add的具體實現在test.s里面

在這里插入圖片描述

2.3.5 帶有命名空間時的名字編碼

在這里插入圖片描述

2.4 C++編譯過程

在這里插入圖片描述

2.5 C++鏈接過程

在這里插入圖片描述

2.6 C++實際的鏈接過程

在這里插入圖片描述

2.7 若add函數在動態庫，lib3rd.so中時

在這里插入圖片描述

2.8 若add函數在靜態庫，libpkg.a中時

在這里插入圖片描述

2.9 編譯鏈接成一個完整程序的過程

在這里插入圖片描述

2.10 C++鏈接時，查找so文件、a文件方式的方式

g++ -lpkg，這里是小寫的L

在這里插入圖片描述

2.11 C++運行時，查找so文件的方式

在這里插入圖片描述

2.12 C++編譯時，頭文件的查找方式

這里是大寫的i，-lfolder

在這里插入圖片描述

3. Makefile基礎

3.1 Makefile基礎-解決的問題是什么

編譯代碼是一個很耗時的事情尤其是代碼量大、CPU差時（邊緣端）
參考官方文檔，查看更多定義：http://www.gnu.org/software/make/manual/make.html

在這里插入圖片描述

3.2 Makefile基礎-代碼域

在這里插入圖片描述

3.3 Makefile基礎-語法

在這里插入圖片描述

生成項可以沒有依賴項，那么如果該生成項文件不存在，command將永遠執行

3.2 依賴關系定義

在這里插入圖片描述

第一次執行make a.o時，由于a.o不存在，執行了command
第二次執行make a.o時，由于a.cpp時間沒有比a.o新，打印a.o is up to date，不需要編譯
生成項和依賴項，從來都是當成文件來看待的

3.3 編譯和鏈接結合起來

在這里插入圖片描述

定義好依賴后make out.bin后，會自動查找依賴關系，并自動按照順序執行command
這是makefile為我們解決的核心問題，剩下就是如何玩的更方便罷了。比如自動檢索a.cpp、b.cpp，自動定義a.o依賴a.cpp。等等

3.4 總結

變量賦值有4種方式var = 123, var := 123, var ?= 123, var += 123。其中var := 123常用，var += 123常用
取變量值有兩種，$(var)，${var}。小括號大括號均可以
數據類型只有字符串和字符串數組，空格隔開表示多個元素
$(function arguments)是調用make內置函數的方法，具體可以參考官方文檔的函數大全。但是常用的其實只有少數兩個即可
依賴關系定義中，如果代碼修改時間比生成的更新/生成不存在時，command會執行。否則只會打印main.o is up to date。這是makefile解決的核心問題
依賴關系可以鏈式的定義，即b依賴a，c依賴b，而make會自動鏈式的查找并根據時間執行command
command是shell指令，可以使用$(var)來將變量用到其中。前面加@表示執行執行時不打印原指令內容。否則默認打印指令后再執行指令
make不寫具體生成名稱，則會選擇依賴關系中的第一項生成

還有問題

在這里插入圖片描述

4. 基于Makefile的標準工程結構

4.1 Makefile工程結構

在這里插入圖片描述

一個標準工程，我們做如下定義：
具有src目錄，存放我們的代碼，可能有多級，例如main.cpp，foo/foo.cpp等
具有workspace目錄，存放我們編譯后的可執行程序、資源、數據
具有objs目錄，存放由cpp編譯后得到的o文件等中間文件
.vscode目錄，存放vscode的cpp配置，用于語法解析器。vscode的c++插件所使用。ctrl+shift+p后搜索c++，找到JSON那一項就是
Makefile文件，當前工程的Makefile代碼

4.2 寫代碼

在這里插入圖片描述

這里簡單定義了foo.hpp和foo.cpp，目的是鏈接為可執行程序后，可以執行
ifndef是防止重復包含

4.3 解決多級目錄cpp檢索問題

在這里插入圖片描述

4.4 替換src/為objs/，o文件放到objs中

在這里插入圖片描述

4.5 定義依賴關系，通配

在這里插入圖片描述

objs/%.o和src/%.cpp代表了通配依賴關系，模式匹配，%相當于變量部分

4.6 為o文件創建目錄

4.6.1 編譯失敗，因為目錄不存在

在這里插入圖片描述

原因是，試圖創建objs/foo/foo.o文件時失敗。因為objs/foo這個目錄不存在造成。對于高版本g++（例如9.0）不會報錯并為你創建objs/foo目錄。
因此我們需要創建objs/foo目錄，需要執行類似mkdir -p dir($@)，通過dir($@)獲取其目錄后創建，這里的mkdir -p指多級目錄也一并創建

4.6.2 使用`mkdir -p $(dir $@)`獲取生成項目錄

在這里插入圖片描述

4.7 鏈接所有o文件生成可執行程序

在這里插入圖片描述

我們定義workspace/pro的生成，依賴自所有的o文件。pro是我們的可執行程序

4.8 完善一下Makefile

在這里插入圖片描述

添加make pro，簡潔的編譯程序
添加make run，編譯后順便執行一下，注意: cd到workspace是為了讓運行程序后的當前工作目錄在workspace中
添加make clean，清理編譯后的垃圾
添加.PHONY，讓我們作為指令存在的東西，不要被視作為文件。即make這東西時永遠執行command

4.9 完整版本的Makefile

在這里插入圖片描述

4.10 可以愉快的玩耍了

在這里插入圖片描述

4.11 修改一個cpp后觀察效果

在這里插入圖片描述

對，這就是我們想要的，nice!

5. 基于Makefile實現的完整功能項目

這一份代碼，你可以點擊下載

5.1 Makefile工程-一個復雜的例子，實現http請求

實現的目的：
具有兩個依賴，openssl、libcurl
存在include、libs依賴
可以鍛煉一個完整的相對完善的工程案例。還可以鍛煉到代碼調試
實現的效果：

實現一個程序，可以從任何網站上下載東西
準備：
- 下載openssl：https://www.openssl.org/source/old/1.1.1/openssl-1.1.1j.tar.gz
  
  這是用于實現加密通信的加密算法庫。用于訪問https開頭的鏈接
- 下載libcurl：https://curl.se/download/curl-7.78.0.tar.gz
  
  這個是用于實現http/https的訪問操作。如果要訪問https，則依賴openssl

5.2 下載和編譯libcurl/openssl

在這里插入圖片描述

創建build目錄，用于儲存下載后的文件，準備用來編譯
創建lean目錄，用于存放編譯后的結果，作為依賴項目錄
將下載后的.tar.gz放到 build目錄下，并解壓出來

5.3 編譯openssl

在這里插入圖片描述

cd openssl-1.1.1j
./config --prefix=/data/sxai/makefile/make7/lean/openssl-1.1.1j
make all -j16 && make install -j16

./config是配置并生成Makefile，指定install到/data/sxai/makefile/make7/lean/openssl-1.1.1j目錄 make all -j16 && make install -j16 這里-j16是同時16個線程執行操作，編譯后，執行安裝
請把這里的lean目錄修改為你當前自己想放的位置

5.4 編譯libcurl

在這里插入圖片描述

./configure --prefix=/data/sxai/makefile/make7/lean/curl7.78.0 \--with-openssl=/data/sxai/makefile/make7/lean/openssl-1.1.1j
make all -j16 && make install -j16

--prefix同樣是為了設置安裝目錄，最后編譯好的curl放在哪里
--with-openssl指定剛才我們編譯安裝后的目錄
./configure同樣是為了配置curl生成Makefile文件
執行make all -j16實現編譯
執行make install -j16實現安裝

5.5 編譯后結果

在這里插入圖片描述

5.6 配置IntellSense和browse路徑

在這里插入圖片描述

變量${workspaceFolder}代表了我們的當前目錄，即/data/sxai/makefile/make7

5.7 配置Makefile

5.7.1 第一步

在這里插入圖片描述

5.7.2 第二步

在這里插入圖片描述

好，我們齊活了。至此整個makefile已經非常完備了。該makefile可以通用了

給出代碼：


srcs := $(shell find src -name "*.cpp")
objs := $(srcs:.cpp=.o)
objs := $(objs:src/%=objs/%)
mks  := $(objs:.o=.mk)include_paths := lean/curl7.78.0/include \lean/openssl-1.1.1j/includelibrary_paths := lean/curl7.78.0/lib     \lean/openssl-1.1.1j/lib# 把library path給拼接為一個字符串，例如a b c => a:b:c
# 然后使得LD_LIBRARY_PATH=a:b:c
empty := 
library_path_export := $(subst $(empty) $(empty),:,$(library_paths))ld_librarys   := curl ssl crypto# 把每一個頭文件路徑前面增加-I，庫文件路徑前面增加-L，鏈接選項前面加-l
run_paths     := $(library_paths:%=-Wl,-rpath=%)
include_paths := $(include_paths:%=-I%)
library_paths := $(library_paths:%=-L%)
ld_librarys   := $(ld_librarys:%=-l%)compile_flags := -std=c++11 -w -g -O0 $(include_paths)
link_flags := $(library_paths) $(ld_librarys) $(run_paths)# 所有的頭文件依賴產生的makefile文件，進行include
# -include表示如果有異常請不要打印出來
# 這里判斷，如果是clean指令，則不需要生成mk文件
ifneq ($(MAKECMDGOALS), clean)
-include $(mks)
endifobjs/%.o : src/%.cpp@echo 編譯$<，生成$@，目錄是：$(dir $@)@mkdir -p $(dir $@)@g++ -c $< -o $@ $(compile_flags)workspace/pro : $(objs)@echo 鏈接$@@g++ $^ -o $@ $(link_flags)objs/%.mk : src/%.cpp@echo 生成依賴$@@mkdir -p $(dir $@)@g++ -MM $< -MF $@ -MT $(@:.mk=.o) $(compile_flags)pro : workspace/pro@echo 編譯完成run : pro@cd workspace && ./proclean :@rm -rf workspace/pro objs.PHONY : pro run debug cleanexport LD_LIBRARY_PATH:=$(LD_LIBRARY_PATH):$(library_path_export)