在當今數據驅動的時代，能夠從互聯網上高效地抓取信息變得越來越重要。Python因其簡潔易學的特性，成為了編寫網絡爬蟲的首選語言之一。接下來，我將介紹如何使用Python來實現一個基礎的網絡爬蟲，并對收集到的數據進行初步處理。
首先，我們需要了解一個網絡爬蟲的基本工作原理。簡單來說，網絡爬蟲是通過自動訪問互聯網上的網頁，從中提取有用信息的腳本或程序。在Python中，我們可以利用requests庫來發送HTTP請求，獲取網頁內容，然后通過BeautifulSoup庫解析這些內容，從而提取出我們感興趣的數據。
讓我們開始動手實踐吧！首先確保你的Python環境中已經安裝了requests和BeautifulSoup庫。如果沒有安裝，可以使用pip命令進行安裝：

pip install requests beautifulsoup4

接下來是一個簡單的示例，演示如何抓取一個網頁的標題：

import requests
from bs4 import BeautifulSoup# 發送HTTP請求
response = requests.get('http://example.com')# 解析網頁內容
soup = BeautifulSoup(response.text, 'html.parser')# 提取網頁標題
title = soup.find('title').text
print('網頁標題：', title)

上面的代碼會輸出網頁<http://example.com>的標題。這只是最基本的用法，實際上你可以根據需要提取頁面上的任何信息。
一旦我們抓取了數據，通常需要進行一些預處理才能進行分析。這時，pandas庫就派上了用場。pandas是一個強大的數據處理庫，可以幫助我們輕松地進行數據清洗和轉換。以下是一個使用pandas處理數據的簡單示例：

import pandas as pd# 假設我們已經抓取了一些書籍信息，存儲在一個列表中
data = [{'title': 'Book 1', 'author': 'Author 1', 'price': 10.99},{'title': 'Book 2', 'author': 'Author 2', 'price': 19.99},# 更多書籍...
]# 轉換為DataFrame
df = pd.DataFrame(data)# 查看數據
print(df.head())# 篩選價格小于15的書籍
cheap_books = df[df['price'] < 15]
print('Cheap books:', cheap_books)