工作任務和目標：自動獲取百度實時熱搜榜的標題和熱搜指數
標題：<div class="c-single-text-ellipsis"> 東部戰區臺島戰巡演練模擬動畫 <!--48--></div>
<div class="hot-index_1Bl1a"> 4946724 </div>
第一步，在deepseek中輸入如下提示詞：
你是一個Python爬蟲專家，完成以下網頁爬取的Python腳本任務：
在F:\aivideo文件夾里面新建一個Excel文件：topbaidu.xlsx
設置chromedriver的路徑為："D:\Program Files\chromedriver125\chromedriver.exe"
用selenium打開網頁：https://top.baidu.com/board?tab=realtime；
請求標頭為：
Accept:
text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7
Accept-Encoding:
gzip, deflate, br, zstd
Accept-Language:
zh-CN,zh;q=0.9,en;q=0.8
Cache-Control:
max-age=0
Connection:
keep-alive
Host:
http://top.baidu.com
Referer:
https://top.baidu.com/board?platform=pc&tab=homepage&sa=pc_index_homepage_all
Sec-Ch-Ua:
"Google Chrome";v="125", "Chromium";v="125", "Not.A/Brand";v="24"
Sec-Ch-Ua-Mobile:
?0
Sec-Ch-Ua-Platform:
"Windows"
Sec-Fetch-Dest:
document
Sec-Fetch-Mode:
navigate
Sec-Fetch-Site:
same-origin
Sec-Fetch-User:
?1
Upgrade-Insecure-Requests:
1
User-Agent:
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36
解析源代碼，并打印輸出；
定位class="c-single-text-ellipsis"的div標簽，提取其文本內容作為熱搜標題，保存到topbaidu.xlsx的第1列；
定位class="hot-index_1Bl1a"的div標簽，提取其文本內容作為熱搜指數，保存到topbaidu.xlsx的第2列；
注意：
每一步都要輸出相關信息到屏幕；
每解析一個網頁隨機暫停1-10秒；
設置請求頭，來應對反爬蟲機制；
DataFrame.append 方法在 pandas 1.4.0 版本中已經被棄用，并且在后續版本中被移除。為了解決這個問題，我們可以使用 concat 函數來代替 append
第二步，查看審閱deepseek生成的Python代碼：
import os
import time
import random
import pandas as pd
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.options import Options
# 設置chromedriver的路徑
chromedriver_path = "D:\\Program Files\\chromedriver125\\chromedriver.exe"
# 設置請求頭
headers = {
'authority': 'top.baidu.com',
'method': 'GET',
'path': '/board?tab=realtime',
'scheme': 'https',
'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7',
'accept-encoding': 'gzip, deflate, br, zstd',
'accept-language': 'zh-CN,zh;q=0.9,en;q=0.8',
'cache-control': 'max-age=0',
'cookie': '__root_domain_v=.baidu.com; _qddaz=QD.484716194472545; _ntes_origin_from=sogou; _ntes_nuid=af525edefbd3d363cd5876dbe902d85b; s_n_f_l_n3=01cb466d244b7db51716517702302; _antanalysis_s_id=1716517702995; UserProvince=%u5168%u56FD; ne_analysis_trace_id=1716518441938; vinfo_n_f_l_n3=01cb466d244b7db5.1.0.1716517702302.0.1716518672850',
'if-modified-since': 'Fri, 24 May 2024 02:40:05 GMT',
'priority': 'u=0, i',
'referer': 'https://www.sogou.com/link?url=hedJjaC291M4oaTBlXc5yCiioa5eDVgw',
'sec-ch-ua': '"Google Chrome";v="125", "Chromium";v="125", "Not.A/Brand";v="24"',
'sec-ch-ua-mobile': '?0',
'sec-ch-ua-platform': '"Windows"',
'sec-fetch-dest': 'document',
'sec-fetch-mode': 'navigate',
'sec-fetch-site': 'cross-site',
'sec-fetch-user': '?1',
'upgrade-insecure-requests': '1',
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36'
}
# 設置Chrome選項
chrome_options = Options()
chrome_options.add_argument(f'user-agent={headers["user-agent"]}')
# 設置Chrome服務
service = Service(chromedriver_path)
# 啟動Chrome瀏覽器
driver = webdriver.Chrome(service=service, options=chrome_options)
# 打開網頁
url = 'https://top.baidu.com/board?tab=realtime'
driver.get(url)
# 等待頁面加載完成
time.sleep(5)
# 獲取網頁源代碼
html = driver.page_source
print("網頁源代碼：")
print(html)
# 創建Excel文件
excel_path = os.path.join('F:\\aivideo', 'topbaidu.xlsx')
df = pd.DataFrame(columns=['熱搜標題', '熱搜指數'])
df.to_excel(excel_path, index=False)
# 定位熱搜標題和指數
titles = driver.find_elements(By.CLASS_NAME, 'c-single-text-ellipsis')
indices = driver.find_elements(By.CLASS_NAME, 'hot-index_1Bl1a')
# 保存熱搜標題和指數到Excel文件
data = []
for title, index in zip(titles, indices):
title_text = title.text
index_text = index.text
# 輸出相關信息
print(f"熱搜標題: {title_text}")
print(f"熱搜指數: {index_text}")
# 添加數據到列表
data.append({'熱搜標題': title_text, '熱搜指數': index_text})
# 隨機暫停
time.sleep(random.randint(1, 10))
# 使用concat將數據添加到DataFrame
df = pd.concat([df, pd.DataFrame(data)], ignore_index=True)
df.to_excel(excel_path, index=False)
# 關閉瀏覽器
driver.quit()
print("熱搜信息已保存到Excel文件。")
第三步，打開visual studio code軟件，新建一個py文件，將Python代碼復制到這個文件中，按下F5鍵運行程序：
程序運行結果：
