Python Pandas數據輸入輸出全流程指南

1. 引言

數據輸入輸出(I/O)是數據分析工作流中最基礎也是最重要的環節之一。Pandas提供了豐富的數據讀寫接口，支持從各種文件格式和數據庫中加載數據，以及將處理后的數據保存到不同存儲系統中。本文將全面介紹Pandas的數據I/O功能，包括常見文件格式解析、數據庫交互、大數據處理技巧和高效存儲格式。

2. 文件格式解析

2.1 CSV文件讀寫

import pandas as pd# 讀取CSV文件
df = pd.read_csv('data.csv', encoding='utf-8', sep=',', header=0)# 查看前5行
print(df.head())# 寫入CSV文件
df.to_csv('output.csv', index=False, encoding='utf-8')# 參數說明：
# - encoding: 文件編碼(常用utf-8, gbk等)
# - sep: 分隔符(默認',')
# - header: 指定作為列名的行號(默認0，即第一行)
# - index: 是否寫入行索引(默認True)

應用場景：CSV是最通用的數據交換格式，適合中小型數據集。

2.2 Excel文件讀寫

# 讀取Excel文件
excel_data = pd.read_excel('data.xlsx', sheet_name='Sheet1')# 查看數據
print(excel_data.head())# 寫入Excel文件
excel_data.to_excel('output.xlsx', sheet_name='Results', index=False)# 讀取多個sheet
with pd.ExcelFile('data.xlsx') as xls:df1 = pd.read_excel(xls, 'Sheet1')df2 = pd.read_excel(xls, 'Sheet2')# 寫入多個sheet
with pd.ExcelWriter('output_multi.xlsx') as writer:df1.to_excel(writer, sheet_name='Data1')df2.to_excel(writer, sheet_name='Data2')

注意事項：處理Excel文件需要安裝openpyxl或xlrd庫。

2.3 JSON文件讀寫

# 讀取JSON文件
json_data = pd.read_json('data.json', orient='records')# 查看數據
print(json_data.head())# 寫入JSON文件
json_data.to_json('output.json', orient='records', indent=2)# 參數說明：
# - orient: JSON格式(records, columns, index等)
# - indent: 縮進空格數(美化輸出)# 從API獲取JSON數據
import requests
url = 'https://api.example.com/data'
response = requests.get(url)
api_data = pd.read_json(response.text)

應用場景：Web API交互、半結構化數據存儲。

2.4 其他文件格式

# Parquet文件(列式存儲)
df = pd.read_parquet('data.parquet')
df.to_parquet('output.parquet')# HTML表格(讀取網頁中的表格)
html_tables = pd.read_html('https://example.com/table.html')# Pickle文件(Python對象序列化)
df.to_pickle('data.pkl')
df = pd.read_pickle('data.pkl')

3. 數據庫交互

3.1 使用SQLAlchemy連接數據庫

from sqlalchemy import create_engine# 創建數據庫連接引擎(MySQL示例)
# 格式: dialect+driver://username:password@host:port/database
engine = create_engine('mysql+pymysql://user:password@localhost:3306/mydb')# 讀取數據到DataFrame
query = "SELECT * FROM customers WHERE age > 30"
df = pd.read_sql(query, engine)# 寫入數據到數據庫
df.to_sql('new_table', engine, if_exists='replace', index=False)# 參數說明：
# - if_exists: 表存在時的行為(fail, replace, append)
# - index: 是否將索引作為列寫入

3.2 PostgreSQL交互示例

# PostgreSQL連接示例
pg_engine = create_engine('postgresql+psycopg2://user:password@localhost:5432/mydb')# 執行復雜查詢
complex_query = """SELECT c.name, COUNT(o.id) as order_countFROM customers cLEFT JOIN orders o ON c.id = o.customer_idGROUP BY c.nameORDER BY order_count DESC
"""
result = pd.read_sql(complex_query, pg_engine)

3.3 分塊讀取大型表

# 分塊讀取大型表
chunk_size = 10000
chunks = pd.read_sql_table('large_table', engine, chunksize=chunk_size)for chunk in chunks:# 處理每個數據塊processed_chunk = chunk[chunk['value'] > 100]# 保存處理結果或進一步分析processed_chunk.to_sql('processed_data', engine, if_exists='append', index=False)

優勢：避免內存不足問題，適合處理超大型數據庫表。

4. 大數據處理技巧

4.1 分塊讀取大型文件

# 分塊讀取大型CSV文件
chunk_size = 50000
chunks = pd.read_csv('large_file.csv', chunksize=chunk_size)result_list = []
for chunk in chunks:# 對每個數據塊進行處理filtered_chunk = chunk[chunk['sales'] > 1000]result_list.append(filtered_chunk)# 合并所有處理結果
final_result = pd.concat(result_list)

應用場景：處理內存無法容納的超大型文件。

4.2 指定數據類型優化內存

# 讀取時指定數據類型減少內存使用
dtype_dict = {'id': 'int32','name': 'category','value': 'float32','flag': 'bool'
}df = pd.read_csv('large_data.csv', dtype=dtype_dict)
print(df.memory_usage(deep=True))

效果：可顯著減少內存占用，特別是對于包含字符串的列。

5. 高效數據存儲格式

5.1 HDF5格式

# 存儲到HDF5文件
df.to_hdf('data.h5', key='df', mode='w')# 從HDF5讀取
df = pd.read_hdf('data.h5', key='df')# 存儲多個DataFrame
store = pd.HDFStore('dataset.h5')
store['df1'] = df1
store['df2'] = df2
store.close()# 讀取特定數據集
with pd.HDFStore('dataset.h5') as store:df1 = store['df1']df2 = store.get('df2')

特點：支持高效壓縮，適合存儲大型科學數據集。

5.2 Feather格式

# 存儲為Feather格式
df.to_feather('data.feather')# 讀取Feather文件
df = pd.read_feather('data.feather')# 特點：
# - 讀寫速度極快
# - 支持跨語言(R/Python)
# - 不適合長期存儲(格式可能變化)

5.3 性能對比

import timeformats = ['csv', 'parquet', 'hdf', 'feather']
times = {}for fmt in formats:start = time.time()if fmt == 'csv':df.to_csv('test.csv', index=False)elif fmt == 'parquet':df.to_parquet('test.parquet')elif fmt == 'hdf':df.to_hdf('test.h5', key='data', mode='w')elif fmt == 'feather':df.to_feather('test.feather')times[f'write_{fmt}'] = time.time() - start# 類似地測試讀取時間...

6. 數據I/O最佳實踐

1. 數據安全：
   • 讀寫操作使用try-except處理異常
   • 重要數據寫入前先備份
   • 數據庫操作使用事務

from sqlalchemy.exc import SQLAlchemyErrortry:df.to_sql('important_data', engine, if_exists='replace')engine.execute("COMMIT")
except SQLAlchemyError as e:print(f"Database error occurred: {e}")engine.execute("ROLLBACK")

2. 性能優化：

   • 大數據集使用分塊處理
   • 合理選擇存儲格式
   • 指定數據類型減少內存使用

3. 數據驗證：

   • 讀取后檢查行數、列數和數據類型
   • 驗證關鍵統計量是否符合預期

# 數據驗證示例
def validate_data(df):assert len(df) > 0, "數據為空"assert 'id' in df.columns, "缺少ID列"assert df['value'].isna().sum() == 0, "存在空值"return True

7. 總結

1. 文件格式支持：

   • 結構化數據：CSV、Excel
   • 半結構化數據：JSON
   • 高效二進制格式：Parquet、HDF5、Feather

2. 數據庫交互：

   • 使用SQLAlchemy作為統一接口
   • 支持MySQL、PostgreSQL等主流數據庫
   • 分塊處理大型表數據

3. 大數據處理：

   • chunksize參數分塊讀取
   • 指定dtype減少內存占用
   • 使用高效二進制格式存儲中間結果

4. 存儲選擇建議：

   • 快速讀寫：Feather
   • 長期存儲：Parquet或HDF5
   • 數據交換：CSV或JSON

Pandas強大的I/O功能使其成為數據科學工作流中的核心工具。掌握這些數據輸入輸出技術，能夠讓你：

• 高效地從各種數據源獲取數據
• 處理超大規模數據集
• 選擇最適合的存儲格式
• 構建穩健的數據處理管道

在實際項目中，應根據數據規模、性能需求和使用場景，靈活選擇和組合這些I/O方法。