python編程-OpenCV（圖像讀寫-圖像處理-圖像濾波-角點檢測-邊緣檢測）圖像變換

形態變換

圖像處理中的形態學操作是處理圖像結構的有效方法。以下是一些常見的形態學操作的介紹及其在 OpenCV 中的實現示例。

1. 腐蝕（Erosion）

腐蝕操作通過消除圖像邊界來減少圖像中的白色區域（前景），使物體的邊界向內收縮。它的作用是去除小的噪點。根據內核的大小，邊界附近的所有像素都將被丟棄。因此，前景對象的厚度或大小在圖像中減少或只是白色區域減少。它有助于消除小的白色噪音，分離兩個連接的對象等。

import cv2
import numpy as np# 讀取圖像
image = cv2.imread('f:/apple.jpg', 0)
# 定義腐蝕的內核
kernel = np.ones((5,5), np.uint8)
# 進行腐蝕操作  
eroded = cv2.erode(image, kernel, iterations=1)cv2.imshow('Eroded Image', eroded)
cv2.waitKey(0)
cv2.destroyAllWindows()

2. 膨脹（Dilation）

膨脹操作與腐蝕相反，主要是增加圖像中的白色區域，使物體的邊界向外擴展。

# 進行膨脹操作  
dilated = cv2.dilate(image, kernel, iterations=1)  cv2.imshow('Dilated Image', dilated)  
cv2.waitKey(0)  
cv2.destroyAllWindows()

3. 開運算（Opening）

開運算是先進行腐蝕再進行膨脹，用于去除小的噪聲，并保持圖像中物體的形狀和大小。

# 進行開運算  
opened = cv2.morphologyEx(image, cv2.MORPH_OPEN, kernel)  cv2.imshow('Opened Image', opened)  
cv2.waitKey(0)  
cv2.destroyAllWindows()

4. 閉運算（Closing）

閉運算是先進行膨脹再進行腐蝕，主要用于填補圖像中的小孔洞或黑色區域。

# 進行閉運算  
closed = cv2.morphologyEx(image, cv2.MORPH_CLOSE, kernel)  cv2.imshow('Closed Image', closed)  
cv2.waitKey(0)  
cv2.destroyAllWindows()

5. 形態梯度（Morphological Gradient）

形態梯度是圖像膨脹與腐蝕之間的差異，用于提取邊緣。

# 進行形態梯度  
gradient = cv2.morphologyEx(image, cv2.MORPH_GRADIENT, kernel)  cv2.imshow('Morphological Gradient', gradient)  
cv2.waitKey(0)  
cv2.destroyAllWindows()

6. 頂帽（Top Hat）

頂帽運算是原圖像與開運算結果的差，主要用于突出比周圍區域亮的部分。

# 進行頂帽運算  
tophat = cv2.morphologyEx(image, cv2.MORPH_TOPHAT, kernel)  cv2.imshow('Top Hat', tophat)  
cv2.waitKey(0)  
cv2.destroyAllWindows()

7. 黑帽（Black Hat）

黑帽運算是閉運算結果與原圖像的差，主要用于突出比周圍區域暗的部分。

# 進行黑帽運算  
blackhat = cv2.morphologyEx(image, cv2.MORPH_BLACKHAT, kernel)  cv2.imshow('Black Hat', blackhat)  
cv2.waitKey(0)  
cv2.destroyAllWindows()

幾何變換

縮放

縮放是調整圖片的大小。 OpenCV 使用cv.resize()函數進行調整。可以手動指定圖像的大小，也可以指定比例因子。可以使用不同的插值方法。

import numpy as np
import cv2 as cv
img = cv.imread('image.jpg')
res = cv.resize(img,None,fx=2, fy=2, interpolation = cv.INTER_CUBIC)
#OR
height, width = img.shape[:2]
res = cv.resize(img,(2*width, 2*height), interpolation = cv.INTER_CUBIC)

平移變換
平移變換是物體位置的移動。轉換矩陣：

$t_x,t_y$ 是方向的偏移量，可以將變換矩陣存為 np.float32 類型的 numpy 數組，并將其作為 cv.warpAffine 的第二個參數。cv.warpAffine 函數的第三個參數是輸出圖像的大小，其形式應為（寬度、高度）。記住寬度=列數，高度=行數。

import numpy as np
import cv2 as cv
img = cv.imread('image.jpg',0)
rows,cols = img.shape
M = np.float32([[1,0,100],[0,1,50]])
dst = cv.warpAffine(img,M,(cols,rows))
cv.imshow('img',dst)
cv.waitKey(0)
cv.destroyAllWindows()

旋轉

旋轉矩陣：

但 Opencv 提供了可變旋轉中心的比例變換，所以你可以在任意位置旋轉圖片，修改后的轉換矩陣為：

例如旋轉90度：

img = cv.imread('image.jpg',0)
rows,cols = img.shape
# cols-1 and rows-1 are the coordinate limits.
M = cv.getRotationMatrix2D(((cols-1)/2.0,(rows-1)/2.0),90,1)
dst = cv.warpAffine(img,M,(cols,rows))

仿射變換
在仿射變換中，原始圖像中的所有平行線在輸出圖像中仍然是平行的。仿射變換是圖像處理和計算機視覺中的一種重要技術，用于執行圖像的幾何變換。它保留了點、直線和面之間的相對位置關系，因此常用于圖像的旋轉、縮放、平移和傾斜等操作。

仿射變換包括：

平移（Translation）：圖像中的每個點沿著 x 和 y 軸移動指定的距離。
縮放（Scaling）：根據指定的比例因子縮放圖像的大小。
旋轉（Rotation）：繞圖像中心點旋轉一定的角度。
傾斜（Shearing）：沿 x 或 y 方向對圖像進行剪切或傾斜。

結合這些操作，可以通過仿射矩陣來實現任意的仿射變換。仿射變換的矩陣形式可以表示為：

在 OpenCV 中，使用?cv2.warpAffine?函數執行仿射變換。下面是一個示例，展示如何進行平移、縮放和旋轉：

import cv2
import numpy as np# 讀取圖像
image = cv2.imread('f:/apple.jpg')# 獲取圖像的尺寸
rows, cols, _ = image.shape# 定義仿射變換矩陣
# 這里定義一個平移和縮放的組合
# 平移 tx = 50，ty = 30；縮放 sx = 1.5，sy = 1.5（增加 50%）
M = np.float32([[1.5, 0, 50],[0, 1.5, 30]])# 應用仿射變換
dst = cv2.warpAffine(image, M, (int(cols * 1.5), int(rows * 1.5)))# 顯示結果
cv2.imshow('Original Image', image)
cv2.imshow('Transformed Image', dst)
cv2.waitKey(0)
cv2.destroyAllWindows()

綜合仿射變換

下面是一個完成平移、縮放和旋轉組合的仿射變換示例：

import cv2
import numpy as np# 讀取圖像
image = cv2.imread('f:/apple.jpg')
# 獲取圖像的中心
center = (image.shape[1] // 2, image.shape[0] // 2)# 定義旋轉角度和縮放因子
angle = 45  # 旋轉 45 度
scale = 1.0 # 不縮放  # 獲取仿射變換矩陣
M = cv2.getRotationMatrix2D(center, angle, scale)# 應用仿射變換
transformed = cv2.warpAffine(image, M, (image.shape[1], image.shape[0]))# 顯示結果
cv2.imshow('Original Image', image)
cv2.imshow('Transformed Image', transformed)
cv2.waitKey(0)
cv2.destroyAllWindows()

透視變換
透視變換是一種將圖像中某個區域進行變形的技術，使得該區域看起來像從不同的角度觀看。透視變換通過將圖像中的四個點映射到另一個四邊形區域來實現，這樣就能夠模擬真實世界中由于相機角度變化而引起的視覺變化。

對透視轉換，你需要一個 3x3 變換矩陣。即使在轉換之后，直線也將保持直線。

要找到這個變換矩陣，需要輸入圖像上的 4 個點和輸出圖像上的相應點。在這四點中，任意三點不應該共線。

?在 OpenCV 中，透視變換使用?cv2.getPerspectiveTransform?函數來計算透視變換矩陣，然后用?cv2.warpPerspective?函數應用該變換。
?

import cv2
import numpy as np
from matplotlib import pyplot as pltimg = cv2.imread('f:/apple.jpg')
rows,cols,ch = img.shape
pts1 = np.float32([[56,65],[368,52],[28,387],[389,390]])
pts2 = np.float32([[0,0],[300,0],[0,300],[300,300]])
M = cv2.getPerspectiveTransform(pts1,pts2)
dst = cv2.warpPerspective(img,M,(300,300))
plt.subplot(121),plt.imshow(img),plt.title('Input')
plt.subplot(122),plt.imshow(dst),plt.title('Output')
plt.show()# 讀取圖像
image = cv2.imread('f:/apple.jpg')# 獲取圖像的尺寸
height, width = image.shape[:2]# 定義源圖像中的四個點（例如，選擇四個角點）
pts1 = np.float32([[100, 100], [200, 100], [100, 200], [200, 200]])
# 定義目標圖像中的四個點
pts2 = np.float32([[80, 80], [220, 100], [90, 210], [210, 220]])# 計算透視變換矩陣
M = cv2.getPerspectiveTransform(pts1, pts2)# 應用透視變換
warped_image = cv2.warpPerspective(image, M, (width, height))# 顯示結果
cv2.imshow('Original Image', image)
cv2.imshow('Warped Image', warped_image)
cv2.waitKey(0)
cv2.destroyAllWindows()

頻域變換：傅里葉變換和拉普拉斯變換

Numpy具有FFT軟件包進行傅里葉變換。np.fft.fft2() 為我們提供了頻率轉換。它的第一個參數是輸入灰度圖像。第二個參數是可選的，它決定輸出數組的大小。如果它大于輸入圖像的大小，則在計算FFT之前用零填充輸入圖像。如果小于輸入圖像，將裁切輸入圖像。如果未傳遞任何參數，則輸出數組的大小將與輸入的大小相同。?

使用 NumPy 執行圖像的傅里葉變換（FFT）和反傅里葉變換（IFFT）：

1. 傅里葉變換（FFT）

np.fft.fft2()?用于計算二維傅里葉變換，適合處理灰度圖像。你可以傳遞一個可選的大小參數來決定輸出數組的形狀。

2. 逆傅里葉變換（IFFT）

np.fft.ifft2()?用于計算二維逆傅里葉變換，將頻域數據轉換回時域。

import numpy as np
import cv2
import matplotlib.pyplot as plt# 讀取灰度圖像
image = cv2.imread('f:/apple.jpg', cv2.IMREAD_GRAYSCALE)# 執行傅里葉變換
# 參數為 image 的 shape 可以控制零填充大小
f_transform = np.fft.fft2(image)# 對傅里葉變換結果進行移位，使得低頻部分居中
f_transform_shifted = np.fft.fftshift(f_transform)# 計算幅度譜，以便可視化
magnitude_spectrum = np.log(np.abs(f_transform_shifted) + 1)  # 避免 log(0)# 執行逆傅里葉變換
# 首先對移位后的頻域圖像進行逆變換
inverse_transform_shifted = np.fft.ifftshift(f_transform_shifted)
recovered_image = np.fft.ifft2(inverse_transform_shifted)# 取實部作為恢復的圖像
recovered_image = np.abs(recovered_image)# 顯示原始圖像、幅度譜和恢復的圖像
plt.figure(figsize=(12, 12))plt.subplot(1, 3, 1)
plt.title('Original Image')
plt.imshow(image, cmap='gray')
plt.axis('off')plt.subplot(1, 3, 2)
plt.title('Magnitude Spectrum')
plt.imshow(magnitude_spectrum, cmap='gray')
plt.axis('off')plt.subplot(1, 3, 3)
plt.title('Recovered Image')
plt.imshow(recovered_image, cmap='gray')
plt.axis('off')plt.tight_layout()
plt.show()

OpenCV中的傅立葉變換
OpenCV 為此提供了功能 cv.dft() 和 cv.idft() 。它返回與以前相同的結果，但是有兩個通道。第一個通道將具有結果的實部，第二個通道將具有結果的虛部。輸入的圖像應首先轉換為np.float32 。

import numpy as np
import cv2 as cv
from matplotlib import pyplot as plt# 讀取圖像
img = cv.imread('f:/apple.jpg', 0)# 1. 計算傅里葉變換
dft = cv.dft(np.float32(img), flags=cv.DFT_COMPLEX_OUTPUT)
dft_shift = np.fft.fftshift(dft)# 2. 計算幅度譜
magnitude_spectrum = 20 * np.log(cv.magnitude(dft_shift[:, :, 0], dft_shift[:, :, 1]))# 3. 創建掩碼，然后將掩碼應用于傅里葉變換結果
rows, cols = img.shape
crow, ccol = rows // 2, cols // 2# 創建一個掩碼，中心區域為1，其余區域為0（高通濾波器）
mask = np.zeros((rows, cols, 2), np.uint8)
mask[crow - 30:crow + 30, ccol - 30:ccol + 30] = 1  # 中心區域為1# 應用掩碼
fshift = dft_shift * mask# 4. 計算逆傅里葉變換
f_ishift = np.fft.ifftshift(fshift)  # 反移位
img_back = cv.idft(f_ishift)  # 逆傅里葉變換
img_back = cv.magnitude(img_back[:, :, 0], img_back[:, :, 1])  # 獲取復數的幅度# 5. 顯示原圖、傅里葉變換幅度譜和恢復后的圖像
plt.figure(figsize=(12, 6))# 原始圖像
plt.subplot(1, 3, 1)
plt.imshow(img, cmap='gray')
plt.title('Input Image')
plt.xticks([]), plt.yticks([])# 幅度譜
plt.subplot(1, 3, 2)
plt.imshow(magnitude_spectrum, cmap='gray')
plt.title('Magnitude Spectrum')
plt.xticks([]), plt.yticks([])# 恢復后的圖像
plt.subplot(1, 3, 3)
plt.imshow(img_back, cmap='gray')
plt.title('Recovered Image')
plt.xticks([]), plt.yticks([])plt.tight_layout()  # 自動調整子圖參數
plt.show()

拉普拉斯算子是高通濾波器，Sobel是HPF。只需對Laplacian進行傅立葉變換，以獲得更大的FFT大小。四種常用算子：

import cv2 as cv
import numpy as np
from matplotlib import pyplot as plt# 簡單平均濾波器（不帶縮放參數）
mean_filter = np.ones((3, 3))# 創建高斯濾波器
x = cv.getGaussianKernel(5, 10)
gaussian = x * x.T# 不同的邊緣檢測濾波器
# Scharr濾波器（x方向）
scharr = np.array([[-3, 0, 3],[-10, 0, 10],[-3, 0, 3]])# Sobel濾波器（x方向）
sobel_x = np.array([[-1, 0, 1],[-2, 0, 2],[-1, 0, 1]])# Sobel濾波器（y方向）
sobel_y = np.array([[-1, -2, -1],[0, 0, 0],[1, 2, 1]])# 拉普拉斯濾波器
laplacian = np.array([[0, 1, 0],[1, -4, 1],[0, 1, 0]])# 將所有濾波器放入列表中
filters = [mean_filter, gaussian, laplacian, sobel_x, sobel_y, scharr]
filter_name = ['mean_filter', 'gaussian', 'laplacian', 'sobel_x', 'sobel_y', 'scharr']# 計算每個濾波器的傅里葉變換
fft_filters = [np.fft.fft2(f) for f in filters]
fft_shift = [np.fft.fftshift(y) for y in fft_filters]# 計算每個濾波器的幅度譜
mag_spectrum = [np.log(np.abs(z) + 1) for z in fft_shift]# 繪制幅度譜
plt.figure(figsize=(12, 6))
for i in range(6):  # 使用 range 代替 xrangeplt.subplot(2, 3, i + 1)plt.imshow(mag_spectrum[i], cmap='gray')plt.title(filter_name[i])plt.xticks([]), plt.yticks([])plt.tight_layout()  # 調整子圖參數
plt.show()