微信號采集(爬蟲)技術的選型 那么，我們應該使用什么技術來從龐大的網頁內容中自動篩選和提取微信號呢？答案就是：數據采集技術，也就是爬蟲技術。

然而，數據采集技術種類繁多，我們具體應該采用哪一個呢？ 針對我們的需求，我對常見的爬蟲技術進行了調研、實踐和對比，匯總如下：

從新人上手、采集范圍、靈活應變程度、免費程度、采集速度這五個方面劃分，重要系數是越重要的我會給分給的高一點。

我們需求是從網頁中采集微信號，站在需求角度，老板思維，對技術的選擇考慮是我們要選擇簡單的技術，能快速的完成我們需求，這是我們重中之重，所以新手上手的重要系數權重我給的權重很高。

我們需求也沒有特別高的采集要求(只是把微信號從正文內容和評價內容中過濾出來)

免費程度要求也不高，如果付費能直接解決我需求，那更加省時省心。

采集速度要求也不高，不管多慢，在技術層面，都比人工效率最起碼高個幾十倍，足以滿足需求。

當代技術思維，對技術的選擇標準是(迷思) 一定要選擇最流行的技術，只有最流行的技術才能顯出自己的前瞻性！ 處理能力當然越強越好！ 操作當然是越簡便越好！

付費是不可能的，我寧愿通宵達旦地尋找免費資源，也不愿意為高級功能支付一分錢！ 執行效率，單一進程已經滿足不了我追求效率的心愿，多任務處理才是我的選擇！ 所以一開始我就把Java和Oracle數據庫排除了，Java學習曲線太陡峭，門檻太高，對新手友好度幾乎為零。

雖然相對于Java而言，Oracle數據庫用戶友好得多，但比起MySQL、PostgreSQL這些更現代的數據庫來說，Oracle數據庫的操作復雜多了。

仿寫的內容不符合指令，需要重新仿寫。 而Web Scraper對于我們這些懂技術的人來說，配置和使用還算得上簡單，但對于技術小白來說，學習起來還是有一定難度的，因此并不是特別推薦。

火車頭對于老一輩的站長來說，幾乎是人盡皆知，幾乎每個資深站長都曾用火車頭來采集數據，更新自己的網站內容。

從火車頭軟件那復古的配置界面風格就能看出，這款產品已經有一定的歷史了。尤其是官網的視頻教程，竟然還是2018年的版本，真不知道這款產品多久沒更新了。

而相較于火車頭，八爪魚的軟件界面配置顯得更為簡潔。

八爪魚的智能采集功能使得數據采集變得異常簡單，只需點擊鼠標即可自動完成爬蟲配置。 其內置的眾多模板也許正好滿足你的需求，直接套用即可解決問題，甚至無需智能識別。

因此，八爪魚毫無疑問成為了技術選擇的首選！你會發現，最合適的技術往往也是最簡單的技術！ 另外，雖然RPA也能進行爬蟲數據采集，在采集范圍、靈活應變、免費程度和采集速度方面表現不俗，但RPA的學習門檻相對較高。

RPA能夠模擬人工自動化處理更多場景的任務，因此如果僅用于數據采集，似乎有點大材小用。 此外，提到八爪魚，許多人也聽說過另一款數據采集產品：后裔采集器。

我專門測試調研過后裔采集器，個人認為其智能模式比八爪魚更加簡單易用（盡管它沒有模板庫，這是一個不小的缺點）。

然而，這款產品內置的IE瀏覽器在采集知識星球時會出現報錯（知識星球不支持低版本的IE瀏覽器，而八爪魚內置的是Chrome瀏覽器，完全沒有這個問題）。其他平臺沒有測試，暫時沒有其他問題。