背景/引言

在現代網頁設計中，動態內容和隱藏元素的使用越來越普遍，這些內容往往只有在特定的用戶交互或條件下才會顯示出來。為了有效地獲取這些隱藏內容，傳統的靜態爬蟲技術往往力不從心。Puppeteer，作為一個強大的無頭瀏覽器工具，提供了豐富的功能來模擬用戶行為，從而輕松抓取這些動態內容。本文將介紹如何使用Puppeteer抓取網頁中的隱藏內容，并結合爬蟲代理IP、useragent、cookie等設置，確保爬取過程的穩定性和高效性。

正文

Puppeteer介紹

Puppeteer是一個由Google維護的Node庫，它提供了一個高層次的API來控制Chrome或Chromium瀏覽器。通過Puppeteer，我們可以自動執行諸如表單提交、UI測試、鍵盤輸入等操作。它特別適用于處理JavaScript渲染的動態網頁和隱藏元素。

抓取隱藏內容的幾種方式

在實際應用中，隱藏內容可能是通過點擊按鈕、滾動頁面等操作后才會顯示。Puppeteer允許我們模擬這些用戶操作，從而獲取隱藏的內容。下面將介紹幾種常見的抓取隱藏內容的方法。

1. 模擬點擊操作

有些隱藏內容需要通過點擊按鈕或鏈接來顯示。例如，一個“顯示更多”按鈕可能會加載更多的內容。

await page.click('#showHiddenContentButton');
await page.waitForSelector('#hiddenContent', { visible: true });
const hiddenContent = await page.evaluate(() => document.querySelector('#hiddenContent').innerText);
console.log('隱藏內容:', hiddenContent);

2. 滾動頁面加載內容

某些頁面通過滾動加載更多內容，比如無限滾動的社交媒體頁面。在這種情況下，我們可以模擬滾動操作。

await page.evaluate(async () => {for (let i = 0; i < 10; i++) {window.scrollBy(0, window.innerHeight);await new Promise(resolve => setTimeout(resolve, 1000));}
});
const content = await page.content();
console.log('滾動加載的內容:', content);

3. 表單提交

有些隱藏內容需要通過表單提交來觸發。例如，輸入搜索關鍵詞并點擊搜索按鈕。

await page.type('#searchInput', 'Puppeteer');
await page.click('#searchButton');
await page.waitForSelector('#searchResults', { visible: true });
const searchResults = await page.evaluate(() => document.querySelector('#searchResults').innerText);
console.log('搜索結果:', searchResults);

4. 等待特定時間

有些內容可能需要等待一段時間后才會加載，這時可以使用延時等待的方法。

await page.waitForTimeout(5000); // 等待5秒鐘
const delayedContent = await page.evaluate(() => document.querySelector('#delayedContent').innerText);
console.log('延時加載的內容:', delayedContent);

使用爬蟲代理IP、User-Agent和Cookie設置

在爬取過程中，使用爬蟲代理IP、User-Agent和Cookie可以有效避免被網站封禁，提高爬取的穩定性和效率。

實例代碼

以下是一個綜合實例代碼，展示如何使用Puppeteer抓取隱藏內容，并結合億牛云爬蟲代理、User-Agent和Cookie設置。

const puppeteer = require('puppeteer');(async () => {// 使用爬蟲代理IP的配置 億牛云爬蟲代理標準版const proxy = {host: 'www.16yun.cn', // 代理服務器地址port: 12345, // 代理服務器端口username: 'your_username', // 代理服務器用戶名password: 'your_password' // 代理服務器密碼};// 啟動瀏覽器，并配置代理和useragentconst browser = await puppeteer.launch({args: [`--proxy-server=${proxy.host}:${proxy.port}`]});const page = await browser.newPage();// 設置User-Agentawait page.setUserAgent('Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36');// 設置Cookieawait page.setCookie({name: 'example_cookie',value: 'example_value',domain: 'example.com'});// 代理服務器身份驗證await page.authenticate({username: proxy.username,password: proxy.password});// 打開目標網頁await page.goto('https://example.com');// 模擬點擊操作以顯示隱藏元素await page.click('#showHiddenContentButton');// 等待隱藏元素加載并顯示await page.waitForSelector('#hiddenContent', { visible: true });// 獲取隱藏元素的內容const hiddenContent = await page.evaluate(() => document.querySelector('#hiddenContent').innerText);console.log('隱藏內容:', hiddenContent);// 模擬滾動操作以加載更多內容await page.evaluate(async () => {for (let i = 0; i < 10; i++) {window.scrollBy(0, window.innerHeight);await new Promise(resolve => setTimeout(resolve, 1000));}});// 獲取滾動加載的內容const content = await page.content();console.log('滾動加載的內容:', content);// 模擬表單提交以獲取隱藏內容await page.type('#searchInput', 'Puppeteer');await page.click('#searchButton');await page.waitForSelector('#searchResults', { visible: true });const searchResults = await page.evaluate(() => document.querySelector('#searchResults').innerText);console.log('搜索結果:', searchResults);// 等待特定時間后獲取內容await page.waitForTimeout(5000); // 等待5秒鐘const delayedContent = await page.evaluate(() => document.querySelector('#delayedContent').innerText);console.log('延時加載的內容:', delayedContent);await browser.close();
})();

代碼解析

1. 爬蟲代理IP配置：通過puppeteer.launch方法中的args參數配置代理服務器地址和端口。使用page.authenticate方法進行代理服務器的身份驗證。
2. User-Agent設置：通過page.setUserAgent方法設置自定義的User-Agent字符串，模擬真實瀏覽器訪問。
3. Cookie設置：通過page.setCookie方法設置自定義的Cookie，模擬已登錄狀態或其他特定用戶狀態。
4. 模擬用戶操作：通過page.click方法模擬用戶點擊操作，顯示隱藏內容。通過page.waitForSelector方法等待隱藏元素加載并顯示。
5. 滾動操作：通過page.evaluate方法模擬滾動操作，加載更多內容。
6. 表單提交：通過page.type和page.click方法模擬表單輸入和提交，獲取隱藏內容。
7. 延時等待：通過page.waitForTimeout方法等待特定時間后獲取延時加載的內容。

結論

Puppeteer作為一個功能強大的無頭瀏覽器工具，為我們提供了模擬用戶行為、抓取動態內容的能力。結合代理IP、User-Agent和Cookie設置，可以有效提升爬取的穩定性和效率。通過上述示例代碼，我們可以輕松抓取網頁中的隱藏內容，為數據采集和分析提供有力支持。