目錄
1. Web開發框架與工具
2. 數據處理與分析
3. 網絡請求與爬蟲
4. 異步編程
5. 數據庫操作
6. 圖像與多媒體處理
7. 語言模型與NLP
8. 安全與加密
9. 配置與工具
10. 其他工具庫
11.典型組合場景
此章節主要是記錄我所使用的包,以及模塊。方便供自己方便以及大家參考,未來會根據作者的學習會在此章節增加包。
1. Web開發框架與工具
-
Jinja2:模板引擎,用于動態生成HTML(常與Flask、Django搭配)。
-
MarkupSafe:防止HTML注入攻擊,配合模板引擎使用。
-
aiohttp:異步HTTP客戶端/服務器框架(常與asyncio、aiohappyeyeballs組合)。
-
SQLAlchemy:ORM工具,簡化數據庫操作(與PyMySQL、PostgreSQL驅動等搭配)。
2. 數據處理與分析
-
numpy:數值計算庫,支持多維數組操作(與pandas、matplotlib組合)。
-
pandas:數據清洗與分析工具(常與numpy、matplotlib結合)。
-
matplotlib:數據可視化庫(與pandas、numpy配套使用)。
-
PyYAML:YAML文件讀寫(用于配置管理)。
3. 網絡請求與爬蟲
-
requests:同步HTTP請求庫(與beautifulsoup4、lxml組合)。
-
httpx:支持同步/異步HTTP請求(與aiohttp互補)。
-
beautifulsoup4:HTML/XML解析(與requests、lxml搭配)。
-
lxml:高效XML/HTML解析庫(常用于爬蟲)。
4. 異步編程
-
aiohappyeyeballs:優化異步網絡連接(與aiohttp配合)。
-
anyio:統一異步I/O接口(支持trio、asyncio)。
-
trio:異步并發框架(與trio-websocket組合)。
5. 數據庫操作
-
PyMySQL:MySQL數據庫連接驅動(與SQLAlchemy搭配)。
-
pymssql:Microsoft SQL Server驅動(未列出,但類似用途)。
6. 圖像與多媒體處理
-
Pillow:圖像處理庫(與opencv-python互補)。
-
opencv-python:計算機視覺庫(用于圖像識別、處理)。
-
imageio:圖像/視頻讀寫(與moviepy組合處理視頻)。
7. 語言模型與NLP
-
langchain系列:構建大語言模型應用(與transformers、Hugging Face庫搭配)。
-
langsmith:LangChain的調試與監控工具。
8. 安全與加密
-
cryptography:加密算法與協議實現(用于SSL/TLS、數據加密)。
-
certifi:管理SSL證書(與requests、urllib3配合)。
9. 配置與工具
-
python-dotenv:管理環境變量(常用于項目配置)。
-
prettytable:終端表格輸出(用于日志格式化)。
-
tqdm:進度條工具(用于耗時任務監控)。
10. 其他工具庫
-
colorama:終端彩色輸出(調試時提升可讀性)。
-
tenacity:重試機制庫(用于網絡請求容錯)。
-
urllib3:HTTP客戶端(被requests依賴)。
11.典型組合場景
-
Web開發:
aiohttp + Jinja2 + SQLAlchemy
-
數據分析:
pandas + numpy + matplotlib
-
爬蟲:
requests + beautifulsoup4 + lxml
-
異步任務:
aiohttp + trio + anyio
-
AI應用:
langchain + transformers + numpy
作者PyCharm所使用的包展示如下: