在使用 Scrapy 的 ImagesPipeline 下載圖片時，有時會遇到因為文件名的問題導致下載失敗的情況。本文將詳細解釋這種錯誤的原因，并提供一個簡單易懂的解決方案，幫助大家避免類似的問題。
問題描述
在下載圖片時，如果圖片的名字是包含中文或特殊字符時，會遇到以下錯誤：
OSError: [Errno 22] Invalid argument: './my_tu\\粉色大波浪女孩 報紙墻 4k動漫壁紙3840*2160_min.jpg'
2024-05-16 10:56:30 [scrapy.pipelines.files] ERROR: File (unknown-error): Error processing file from <GET https://pic.netbian.com/uploads/allimg/240509/010156-1715187716fada.jpg> referred in <None>
而當圖片的名字是 010156-1715187716fada.jpg 這樣的簡單英文和數字組合時，下載可以正常進行。
原因分析
造成這種情況的主要原因是文件名中包含了非ASCII字符（如中文字符）或特殊字符（如 “*”, “?” 等）。這些字符在某些操作系統（如 Windows）中是非法字符，無法用于文件名，導致了 OSError: [Errno 22] Invalid argument 錯誤。
解決方案
為了避免此類錯誤，我們可以對文件名進行規范化處理，移除或替換非法字符。以下是一個詳細的解決方案，包含具體的代碼示例。
第一步：定義一個函數來規范化文件名
首先，我們定義一個函數 sanitize_filename，這個函數會移除或替換文件名中的非法字符。
import redef sanitize_filename(filename):# 移除文件名中的非法字符，替換為下劃線sanitized = re.sub(r'[<>:"/\\|?*]', '_', filename)return sanitized
第二步：在 ImagePipeline 中使用 sanitize_filename 函數
接下來，我們需要在 ImagesPipeline 中使用這個函數，重寫 file_path 方法來規范化文件名。
from scrapy.pipelines.images import ImagesPipelineclass CustomImagesPipeline(ImagesPipeline):def file_path(self, request, response=None, info=None, *, item=None):# 從 URL 中提取文件名original_filename = request.url.split('/')[-1]# 規范化文件名sanitized_filename = sanitize_filename(original_filename)return f'full/{sanitized_filename}'
第三步：在 settings.py 中啟用自定義的 ImagesPipeline
最后，我們需要在 Scrapy 項目的 settings.py 文件中啟用自定義的 ImagesPipeline。
ITEM_PIPELINES = {'my_project.pipelines.CustomImagesPipeline': 1,
}
完整代碼示例
以下是完整的代碼示例，可以直接使用：
import re
from scrapy.pipelines.images import ImagesPipelinedef sanitize_filename(filename):# 移除文件名中的非法字符，替換為下劃線sanitized = re.sub(r'[<>:"/\\|?*]', '_', filename)return sanitizedclass CustomImagesPipeline(ImagesPipeline):def file_path(self, request, response=None, info=None, *, item=None):# 從 URL 中提取文件名original_filename = request.url.split('/')[-1]# 規范化文件名sanitized_filename = sanitize_filename(original_filename)return f'full/{sanitized_filename}'# 在 settings.py 中啟用自定義的 ImagesPipeline
ITEM_PIPELINES = {'my_project.pipelines.CustomImagesPipeline': 1,
}
結論
通過對文件名進行規范化處理，我們可以有效避免因為非法字符導致的文件名解析錯誤，從而確保圖片下載過程順利進行。
)
