數據分析與可視化是數據科學領域的核心技能，Python 憑借其豐富的庫生態和靈活的編程范式，成為該領域的首選工具。本文將系統講解 Python 數據分析與可視化的技術棧實現，從基礎操作到性能優化，結合實戰場景提供可復用的解決方案。

數據分析核心庫技術解析

Pandas 數據處理引擎原理

Pandas 作為數據分析的基石，其核心優勢在于基于 NumPy 的矢量運算和高效的內存管理。與 Excel 的單元格級操作不同，Pandas 采用列向量批量處理模式，在處理 10 萬級以上數據時性能優勢可達 100 倍以上。

import pandas as pd

import numpy as np

# 生成100萬行測試數據

data = {

'date': pd.date_range(start='2023-01-01', periods=1000000),

'category': np.random.choice(['A', 'B', 'C', 'D'], size=1000000),

'value': np.random.normal(100, 20, size=1000000)

}

df = pd.DataFrame(data)

# 高效分組聚合（矢量運算實現）

%timeit df.groupby('category')['value'].agg(['mean', 'std', 'count'])

性能優化要點：

• 使用inplace=True參數減少內存復制

• 優先選擇df.query()進行條件篩選（比布爾索引快 30%）

• 對大文件采用chunksize分塊處理

# 分塊讀取大文件

chunk_iter = pd.read_csv('large_data.csv', chunksize=10000)

result = pd.DataFrame()

for chunk in chunk_iter:

processed = chunk[chunk['value'] > 0].groupby('category').size()

result = result.add(processed, fill_value=0)

數據清洗的工程化實現

生產環境中的數據往往存在多種質量問題，需要建立系統化的清洗流程：

from sklearn.impute import KNNImputer

import re

def data_cleaning_pipeline(df: pd.DataFrame) -> pd.DataFrame:

"""標準化數據清洗流水線"""

df = df.copy() # 避免修改原始數據

# 1. 重復值處理

df = df.drop_duplicates(keep='first')

# 2. 缺失值處理（分類型）

# 數值列：KNN填充（保留數據分布特征）

num_cols = df.select_dtypes(include=['int64', 'float64']).columns

if not num_cols.empty:

imputer = KNNImputer(n_neighbors=5)

df[num_cols] = imputer.fit_transform(df[num_cols])

# 類別列：眾數填充

cat_cols = df.select_dtypes(include=['object', 'category']).columns

df[cat_cols] = df[cat_cols].fillna(df[cat_cols].mode().iloc[0])

# 3. 異常值處理（基于3σ原則）

<