最近網站在做統計功能，想著統計下蜘蛛爬行記錄，看看都有哪些搜索引擎蜘蛛經常關顧，故而好進行相應的對策改變。都知道搜索引擎對一個網站很重要,是很多網站重要的流量來源。熟悉各大搜索引擎的蜘蛛就顯得必要。

做SEO優化的通常會說蜘蛛爬得越勤快,網頁收錄也快。通過分析網站訪問日志:查看訪問者的user-agent，我們就可以了解哪些搜索蜘蛛過來爬行過網站頁面了，下面整理一下國內常用的一些搜索蜘蛛

---

1、 百度蜘蛛：Baiduspider Baiduspider-image baiduboxapp Baiduspider-render

百度搜索資源平臺_共創共享鮮活搜索

2、 谷歌蜘蛛：Googlebot (很勤奮的蜘蛛) Googlebot-Image Google-Read-Aloud Googlebot-Video

谷歌中文站長平臺? >> 需要翻墻

3、 360蜘蛛：360Spider (比較懶的蜘蛛)

360站長平臺-站長平臺

4、 搜狗蜘蛛：SogouSpider, Sogou web spider

搜狗資源平臺_公平開放的交流平臺

5、 神馬蜘蛛：YisouSpider (UC瀏覽器默認搜索sm.cn的蜘蛛)

神馬站長平臺

6、 必應蜘蛛：bingbot BingPreview

必應

7、 有道蜘蛛：YoudaoBot,YodaoBot（找不到）

8、 MSN蜘蛛：msnbot,msnbot-media

9、 雅虎蜘蛛：“Yahoo! Slurp China”或者Yahoo!（找不到）

10、 Yandex蜘蛛：YandexBot (俄羅斯搜索引擎)

Oops, Captcha!? >> 需要翻墻

11、 DNSPOD監控蜘蛛：DNSPod-Monitor

12、 MJ12bot：MJ12bot (英國SEO分析頁面蜘蛛)

13、 SEMrush：SemrushBot (美國SEO綜合分析網站的蜘蛛)

Semrush - 在線營銷簡單方便

14、 頭條蜘蛛：Bytespider (今日頭條旗下:高頻抓取 被很多站長封禁后 有所改善)

頭條搜索站長平臺

15、 華為蜘蛛：AspiegelBot ( 華為旗下Aspiegel公司 瘋狂高頻爬行無節制 )

對于國內中文用戶為主的站長主要使用?百度、Sogou搜狗、Bing、360搜索、神馬、頭條

對于大陸中文網站站長主要是?百度、360搜索和頭條搜索，其它的可有可無

若是網站客戶來源，手機端特別多，建議神馬的不要禁止，畢竟UC的用戶也有不少。

特別推薦屏蔽，甚至是拉進黑名單的：Yandex? MJ12bot? SEMrush，至于AspiegelBot需要看日志在決定，搞完之后能省下來不少性能和流量。