【ai學習筆記】GitLab

CI/CD（持續集成/持續交付）是現代軟件開發中的關鍵實踐，通過自動化工具可以大幅提升開發效率和軟件質量。下面為你介紹CI/CD的核心概念、常用工具以及示例配置：

1. CI/CD 核心概念

持續集成（CI）：開發人員提交代碼后，自動觸發構建和測試流程，確保新代碼與現有代碼集成時不會產生沖突。
持續交付（CD）：在CI的基礎上，自動將通過測試的代碼部署到預生產環境或生產環境。

2. 常用CI/CD工具

Jenkins

特點：開源、插件豐富、社區活躍。
適用場景：需要高度定制化的復雜CI/CD流程。

GitLab CI/CD

特點：與GitLab深度集成，配置簡單。
適用場景：基于GitLab倉庫的項目。

GitHub Actions

特點：與GitHub無縫集成，開箱即用。
適用場景：GitHub托管的項目。

CircleCI

特點：云原生、并行執行速度快。
適用場景：需要快速構建和測試的項目。

Jenkinsfile 示例

pipeline {agent anystages {stage('Build') {steps {sh 'mvn clean package'}}stage('Test') {steps {sh 'mvn test'}}stage('Deploy') {when {branch 'main'}steps {sh 'deploy-to-prod.sh'}}}
}

GitHub Actions 示例

name: CIon:push:branches: [ main ]jobs:build:runs-on: ubuntu-lateststeps:- uses: actions/checkout@v3- name: Set up Pythonuses: actions/setup-python@v4with:python-version: 3.9- name: Install dependenciesrun: |python -m pip install --upgrade pippip install -r requirements.txt- name: Run testsrun: pytest

3. CI/CD 流程最佳實踐

原子提交：每次提交代碼專注于解決一個問題。
自動化測試：包括單元測試、集成測試和端到端測試。
環境隔離：開發、測試、生產環境保持一致。
版本控制：所有配置文件和腳本納入版本控制。
監控與回滾：部署后監控系統狀態，異常時能快速回滾。

4. 部署策略

藍綠部署：同時維護兩個環境（藍/綠），切換流量完成部署。
金絲雀發布：先向少量用戶發布新版本，驗證后再全量部署。
滾動更新：逐步替換舊版本實例，適用于無狀態服務。

5. 工具選擇建議

若項目已托管在GitHub，優先使用GitHub Actions。
復雜場景或企業級需求，考慮Jenkins或GitLab CI/CD。
云原生項目可選擇CircleCI或GitLab CI/CD。

根據具體需求選擇合適的工具和部署策略，能有效提升開發效率和軟件質量。選擇適合項目的CI/CD工具需要綜合考慮團隊規模、技術棧、集成需求、預算和使用習慣等因素。以下是關鍵決策維度和建議：

1. 項目規模與復雜度

小型項目/個人項目：
- GitHub Actions：與GitHub無縫集成，配置簡單，適合快速上手。
- GitLab CI/CD：如果使用GitLab作為代碼托管平臺，內置CI/CD無需額外配置。
中大型項目/企業級：
- Jenkins：高度可定制，支持復雜工作流，但需要專業維護。
- GitLab CI/CD：支持自托管和云版本，適合需要統一DevOps平臺的團隊。

2. 技術棧兼容性

特定語言支持：
- GitHub Actions：提供官方和社區Action支持主流語言（Python、Java、Node.js等）。
- CircleCI：預配置的Docker鏡像簡化了特定語言環境的搭建。
容器與云原生：
- Jenkins：需自行配置Kubernetes插件或Docker集成。
- GitLab CI/CD：內置容器注冊表和Kubernetes集成。
- CircleCI：原生支持并行構建和Docker鏡像構建。

3. 集成需求

代碼托管平臺：
- GitHub → GitHub Actions
- GitLab → GitLab CI/CD
- Bitbucket → Bitbucket Pipelines或Jenkins
外部工具集成：
- 測試工具（Jest、JUnit）
- 代碼質量工具（SonarQube）
- 部署目標（AWS、GCP、Azure）

4. 預算與維護成本

開源免費：Jenkins、GitLab CE
云服務：
- GitHub Actions（免費額度有限，超出需付費）
- CircleCI（按構建分鐘數計費）
- GitLab Premium/Ultimate（按用戶數計費）

5. 團隊技能與偏好

若團隊熟悉Docker和Kubernetes → GitLab CI/CD或CircleCI
若需要可視化編排 → Jenkins Pipeline或Concourse
若追求簡單易用 → GitHub Actions

6. 關鍵特性對比

工具	并行構建	緩存機制	自托管	矩陣構建	社區支持
Jenkins	?	?	?	?	豐富
GitHub Actions	?	?	?	?	豐富
GitLab CI/CD	?	?	?	?	良好
CircleCI	?	?	?	?	良好

7. 評估方法

試用主流工具：在小型項目上實踐對比（如GitHub Actions vs. GitLab CI/CD）。
參考行業案例：同類型項目的選擇經驗（如開源項目多用GitHub Actions）。
關注工具趨勢：根據Stack Overflow、DevOps雷達等報告評估工具生命力。

8. 常見場景推薦

GitHub項目 + 云部署 → GitHub Actions
GitLab項目 + 容器化 → GitLab CI/CD
復雜工作流 + 多技術棧 → Jenkins
快速迭代 + 云原生 → CircleCI

通過以上維度的評估，結合項目的實際需求和團隊現狀，能更精準地選擇合適的CI/CD工具。以下是GitLab CI/CD的常見使用示例，涵蓋基本配置、測試、構建、部署等場景：

1. 基礎配置示例（`.gitlab-ci.yml`）

# 定義階段順序
stages:- test- build- deploy# 所有作業共享的配置
default:image: python:3.9  # 使用Python鏡像# 測試作業
test:stage: testscript:- pip install -r requirements.txt- pytest  # 運行測試artifacts:paths:- test-results/  # 保存測試報告# 構建作業
build:stage: buildscript:- python setup.py sdist bdist_wheel  # 構建Python包artifacts:paths:- dist/  # 保存構建產物# 部署作業（僅主分支執行）
deploy:stage: deployenvironment: productionscript:- pip install twine- twine upload dist/*  # 上傳到PyPIonly:- main  # 僅在main分支觸發

2. 多環境部署示例

stages:- build- test- deploybuild:stage: buildscript:- docker build -t my-app:$CI_COMMIT_SHA .- docker push my-app:$CI_COMMIT_SHAdeploy_staging:stage: deployenvironment: stagingscript:- kubectl apply -f k8s/staging/  # 部署到測試環境- kubectl set image deployment/my-app my-app=my-app:$CI_COMMIT_SHAonly:- develop  # 開發分支部署到測試環境deploy_production:stage: deployenvironment: productionscript:- kubectl apply -f k8s/production/  # 部署到生產環境- kubectl set image deployment/my-app my-app=my-app:$CI_COMMIT_SHAonly:- main  # 主分支部署到生產環境when: manual  # 需要手動觸發

3. 使用緩存加速構建

cache:paths:- node_modules/  # 緩存npm依賴stages:- build- testbuild:image: node:16stage: buildscript:- npm install  # 首次安裝依賴會被緩存- npm run buildartifacts:paths:- dist/test:image: node:16stage: testscript:- npm install  # 從緩存中恢復依賴，加速測試- npm test

4. 并行執行測試

stages:- test# 定義矩陣構建
.test_template: &test_definitionstage: testscript:- pip install -r requirements.txt- pytest tests/ -k "$TEST_SUITE"  # 運行特定測試套件test_unit:<<: *test_definitionvariables:TEST_SUITE: "unit"  # 運行單元測試test_integration:<<: *test_definitionvariables:TEST_SUITE: "integration"  # 運行集成測試test_e2e:<<: *test_definitionvariables:TEST_SUITE: "e2e"  # 運行端到端測試

5. 部署到AWS ECS

deploy_to_ecs:stage: deployimage: amazon/aws-cliscript:- aws configure set region $AWS_REGION- aws configure set aws_access_key_id $AWS_ACCESS_KEY_ID- aws configure set aws_secret_access_key $AWS_SECRET_ACCESS_KEY# 登錄ECR- $(aws ecr get-login --no-include-email)# 構建并推送Docker鏡像- docker build -t $ECR_REPOSITORY:$CI_COMMIT_SHA .- docker tag $ECR_REPOSITORY:$CI_COMMIT_SHA $ECR_REPOSITORY:latest- docker push $ECR_REPOSITORY:$CI_COMMIT_SHA- docker push $ECR_REPOSITORY:latest# 更新ECS任務定義- aws ecs register-task-definition --cli-input-json file://task-definition.json- aws ecs update-service --cluster $ECS_CLUSTER --service $ECS_SERVICE --task-definition $TASK_DEFINITION

6. 使用GitLab環境變量

stages:- deploydeploy:stage: deployscript:- echo "Deploying to $ENVIRONMENT_URL with API key $API_KEY"- ./deploy.sh  # 使用環境變量的部署腳本environment:name: productionurl: $PROD_URL  # 在GitLab中設置的環境變量only:- main

7. 觸發外部Pipeline

trigger_downstream:stage: triggertrigger:project: my-group/downstream-project  # 下游項目路徑branch: mainstrategy: depend  # 等待下游Pipeline完成

8. 自動合并請求檢查

stages:- validatevalidate_merge_request:stage: validatescript:- git fetch origin $TARGET_BRANCH  # 獲取目標分支- git checkout -b $CI_COMMIT_REF_NAME origin/$CI_COMMIT_REF_NAME- git merge origin/$TARGET_BRANCH --no-commit --no-ff  # 模擬合并- mvn verify  # 驗證合并后的代碼only:- merge_requests  # 僅在合并請求時觸發variables:TARGET_BRANCH: main

使用提示

環境變量：在GitLab項目的Settings → CI/CD → Variables中配置敏感信息（如API密鑰、密碼）。
Runner：確保有可用的Runner執行作業（可使用GitLab共享Runner或自建Runner）。
調試技巧：使用gitlab-ci-multi-runner exec在本地執行作業調試配置。

將以上示例根據項目需求調整后，放入項目根目錄的.gitlab-ci.yml文件中即可觸發CI/CD流程。配置GitLab Runner是執行CI/CD作業的關鍵步驟，以下是詳細的配置指南：

1. 安裝GitLab Runner

根據操作系統選擇安裝方式：

Linux（Debian/Ubuntu）

# 添加GitLab Runner倉庫
curl -L "https://packages.gitlab.com/install/repositories/runner/gitlab-runner/script.deb.sh" | sudo bash# 安裝最新版本
sudo apt-get install gitlab-runner

macOS

brew install gitlab-runner

Windows

下載并安裝二進制文件：

Invoke-WebRequest -Uri "https://gitlab-runner-downloads.s3.amazonaws.com/latest/binaries/gitlab-runner-windows-amd64.exe" -OutFile "gitlab-runner.exe"

2. 注冊Runner到GitLab

獲取注冊令牌：
- 進入GitLab項目 → Settings → CI/CD → Runners → Expand → 復制Registration token。
執行注冊命令：

sudo gitlab-runner register

按提示輸入信息：
- GitLab實例URL（如https://gitlab.com）
- 注冊令牌
- Runner描述（自定義名稱）
- 標簽（用于匹配作業，如docker, python）
- 執行器（如docker, shell, kubernetes）

Docker執行器示例

sudo gitlab-runner register \--non-interactive \--url "https://gitlab.com" \--registration-token "YOUR_TOKEN_HERE" \--description "docker-runner" \--tag-list "docker,build" \--executor "docker" \--docker-image alpine:latest

3. 配置Runner執行器

根據項目需求選擇執行器：

Shell執行器

直接在Runner所在主機執行命令，適合簡單項目：

# /etc/gitlab-runner/config.toml
[[runners]]name = "shell-runner"url = "https://gitlab.com"token = "YOUR_RUNNER_TOKEN"executor = "shell"

Docker執行器

使用Docker容器隔離環境，推薦使用：

# /etc/gitlab-runner/config.toml
[[runners]]name = "docker-runner"url = "https://gitlab.com"token = "YOUR_RUNNER_TOKEN"executor = "docker"[runners.docker]image = "docker:stable"privileged = true  # 允許Docker-in-Dockervolumes = ["/cache", "/var/run/docker.sock:/var/run/docker.sock"]

Kubernetes執行器

在Kubernetes集群中動態創建Pod執行作業：

# /etc/gitlab-runner/config.toml
[[runners]]name = "k8s-runner"url = "https://gitlab.com"token = "YOUR_RUNNER_TOKEN"executor = "kubernetes"[runners.kubernetes]host = ""  # Kubernetes API地址namespace = "gitlab-runner"image = "alpine:latest"

4. 驗證Runner配置

查看已注冊的Runner：

sudo gitlab-runner list

檢查Runner狀態：

sudo gitlab-runner status

在GitLab界面確認：
- 進入項目 → Settings → CI/CD → Runners → 查看是否顯示已激活的Runner。

5. 高級配置選項

緩存配置

加速依賴安裝：

[[runners]]# ...其他配置[runners.cache]Type = "s3"ServerAddress = "s3.amazonaws.com"AccessKey = "YOUR_ACCESS_KEY"SecretKey = "YOUR_SECRET_KEY"BucketName = "gitlab-runner-cache"Insecure = false

并發限制

限制Runner同時執行的作業數：

concurrent = 2  # 全局并發數[[runners]]# ...其他配置limit = 1  # 單個Runner限制

6. 管理Runner服務

# 啟動服務
sudo systemctl start gitlab-runner# 停止服務
sudo systemctl stop gitlab-runner# 重啟服務
sudo systemctl restart gitlab-runner# 設置開機自啟
sudo systemctl enable gitlab-runner

7. 常見問題排查

Runner未顯示在線：
- 檢查Runner服務是否運行
- 確認令牌和URL配置正確
作業執行失敗：
- 查看GitLab CI/CD日志獲取詳細錯誤
- 檢查Runner權限（如Docker執行器需要訪問docker.sock）
緩存失效：
- 驗證緩存路徑和權限
- 嘗試清除并重建緩存

8. 使用GitLab共享Runner

若不想自建Runner，可使用GitLab提供的共享Runner：

進入項目 → Settings → CI/CD → Runners
啟用"Shared runners"開關
在.gitlab-ci.yml中使用標簽匹配共享Runner

配置完成后，Runner會自動拾取符合標簽條件的CI/CD作業并執行。根據項目需求調整執行器和資源配置，以達到最佳性能。以下是在GitLab上創建項目并啟用CI/CD的完整步驟：

1. 創建新項目

登錄GitLab賬戶，點擊右上角的New project。
選擇項目類型：
- Create blank project：創建空項目
- Create from template：從模板創建（含CI/CD配置）
填寫項目信息：
- Project name：項目名稱
- Project description：項目描述
- Visibility Level：公開/內部/私有
點擊Create project完成創建。

2. 添加代碼到項目

方法1：從本地推送現有代碼

# 初始化本地倉庫
git init
git add .
git commit -m "Initial commit"# 添加GitLab遠程倉庫
git remote add origin git@gitlab.com:username/project-name.git# 推送代碼
git push -u origin main

方法2：使用GitLab Web IDE創建文件

進入項目主頁，點擊Web IDE。
創建文件（如README.md）。
點擊Commit changes提交。

3. 添加CI/CD配置文件

在項目根目錄創建.gitlab-ci.yml文件：

示例1：Python項目

image: python:3.9stages:- test- deploytest:stage: testscript:- pip install -r requirements.txt- pytestdeploy:stage: deployscript:- echo "Deploying to production..."only:- main

示例2：Node.js項目

image: node:16stages:- install- test- buildinstall:stage: installscript:- npm installcache:paths:- node_modules/test:stage: testscript:- npm testbuild:stage: buildscript:- npm run buildartifacts:paths:- dist/

4. 配置Runner

確保項目有可用的Runner執行CI/CD作業：

方法1：使用GitLab共享Runner

進入項目 → Settings → CI/CD → Runners。
啟用Shared runners。

方法2：注冊專用Runner

按前文指南安裝并注冊Runner。
為Runner添加匹配標簽（如python, docker）。
在.gitlab-ci.yml中指定標簽：

test:stage: testtags:- python  # 匹配具有"python"標簽的Runnerscript:- pytest

5. 觸發CI/CD Pipeline

提交代碼：每次push到倉庫時自動觸發Pipeline。
手動觸發：
- 進入項目 → CI/CD → Pipelines。
- 點擊Run pipeline。

查看Pipeline狀態：

綠色√：所有作業成功
黃色●：作業正在運行
紅色×：作業失敗，點擊查看詳細日志

6. 查看CI/CD結果

Pipeline視圖：查看所有階段和作業的執行狀態。
作業日志：點擊作業名稱查看詳細輸出。
Artifacts：下載作業生成的文件（如測試報告、構建產物）。

7. 高級配置

環境變量

在GitLab中設置敏感信息：

進入項目 → Settings → CI/CD → Variables。
添加變量（如API_KEY, DB_PASSWORD）。
在.gitlab-ci.yml中使用：

deploy:script:- ./deploy.sh $API_KEY  # 使用環境變量

分支策略

deploy_prod:stage: deployscript:- deploy-to-prod.shonly:- main  # 僅主分支觸發except:- tags  # 排除標簽

手動觸發作業

deploy_staging:stage: deployscript:- deploy-to-staging.shwhen: manual  # 需要手動觸發

8. 故障排查

Runner未運行：
- 檢查Runner狀態：sudo gitlab-runner status
- 確認Runner已注冊并激活
權限問題：
- 確保Runner有足夠權限（如Docker執行器需要訪問/var/run/docker.sock）
依賴失敗：
- 在.gitlab-ci.yml中添加依賴安裝步驟
- 使用緩存加速依賴下載

9. 示例項目結構

my-project/
├── .gitlab-ci.yml      # CI/CD配置文件
├── src/                # 源代碼
├── tests/              # 測試代碼
├── requirements.txt    # Python依賴
├── package.json        # Node.js依賴
└── README.md           # 項目說明

通過以上步驟，你可以在GitLab上創建項目并配置完整的CI/CD流程。根據項目需求調整.gitlab-ci.yml中的階段、作業和腳本，實現自動化構建、測試和部署。在GitLab上管理項目分支是協作開發的核心環節，以下是常用的分支管理操作指南：

1. 創建分支

方法1：Web界面創建

進入項目主頁 → Repository → Branches。
點擊New branch。
輸入分支名稱（如feature/add-login）。
選擇源分支（通常為main或master）。
點擊Create branch。

方法2：命令行創建并推送

# 創建本地分支
git checkout -b feature/add-login# 推送至遠程倉庫
git push origin feature/add-login

2. 查看和切換分支

Web界面查看

進入項目主頁 → Repository → Branches，查看所有分支列表。

命令行切換

# 查看本地分支
git branch# 查看遠程分支
git branch -r# 切換到已有分支
git checkout feature/add-login# 創建并切換到新分支
git checkout -b hotfix/bug-123

3. 合并分支

使用Merge Request（推薦）

進入項目 → Merge requests → New merge request。
選擇源分支（如feature/add-login）和目標分支（如main）。
填寫標題和描述，設置Assignee和Labels。
點擊Submit merge request。
等待CI/CD Pipeline通過后，點擊Merge完成合并。

命令行合并（直接提交）

# 切換到目標分支
git checkout main# 合并源分支
git merge feature/add-login# 推送至遠程
git push origin main

4. 刪除分支

Web界面刪除

進入項目 → Repository → Branches。
找到要刪除的分支，點擊Delete圖標。

命令行刪除

# 刪除本地分支
git branch -d feature/add-login# 刪除遠程分支
git push origin --delete feature/add-login

5. 分支保護規則

限制對重要分支（如main）的修改權限：

進入項目 → Settings → Repository → Protected branches。
配置保護規則：
- Branch name：輸入要保護的分支名（如main）。
- Allowed to push：選擇允許推送的角色（如Maintainers）。
- Allowed to merge：選擇允許合并的角色。
- Require code owner approval：啟用代碼所有者審批。
點擊Protect。

6. 處理合并沖突

當合并分支時發生沖突：

Web界面解決：
- 在Merge Request中點擊Resolve conflicts。
- 使用在線編輯器手動修改沖突部分。
- 點擊Commit changes。
命令行解決：

# 拉取最新代碼
git pull# 合并分支觸發沖突
git merge feature/add-login# 手動編輯沖突文件
vim conflict-file.txt# 標記沖突已解決
git add conflict-file.txt# 提交合并
git commit -m "Resolve conflicts"

7. 分支策略推薦

Git Flow

master：生產環境代碼
develop：開發主分支
feature/*：功能開發分支
release/*：版本發布分支
hotfix/*：緊急修復分支

GitHub Flow

單一main分支
所有功能通過Pull Request合并
頻繁部署

GitLab Flow

上游優先（Upstream First）原則
使用環境分支（如staging, production）

8. 常用分支管理命令

# 查看分支歷史
git log --oneline --graph --decorate --all# 重命名本地分支
git branch -m old-name new-name# 查看分支差異
git diff main..feature/add-login# 撤銷未提交的修改
git checkout -- file.txt# 重置到遠程分支狀態
git reset --hard origin/main