常见搜索引擎蜘蛛用户代理(User Agent)列表

算法更新和Google算法更新列表,以及这个常见蜘蛛用户代理列表)做成页面,并保持更新,读者可以随时看到最新信息。

下面列出常见搜索引擎蜘蛛的当前版本:

百度PC蜘蛛

Mozilla/5.0(compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)

Mozilla/5.0(compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider. html)

百度移动蜘蛛

Mozilla/5.0(Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0;+http://www. baidu.com/ search/spider.html)

Mozilla/5.0 (iPhone;CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko)Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

百度小程序蜘蛛

Mozilla/5.0 (iPhone;CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko)Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0;Smartapp; +http://www.baidu.com/search/spider.html)

Google PC蜘蛛

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36

其中W.X.Y.Z是Chrome浏览器版本号。Google蜘蛛从2019年开始使用最新版本的Chrome引擎抓取、渲染页面,所以这个版本号会保持更新。

或(偶尔使用)

Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

或(偶尔使用)

Googlebot/2.1 (+http://www.google.com/bot.html)

Google移动蜘蛛

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Google图片蜘蛛

Googlebot-Image/1.0

Google视频蜘蛛

Googlebot-Video/1.0

Bing PC蜘蛛

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/

Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)W.X.Y.Z Safari/537.36

Bing移动蜘蛛

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 Edg/W.X.Y.Z (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)

其中W.X.Y.Z是Chrome和Edge浏览器版本号。和Google一样,Bing也使用最新版本的Microsoft Edge引擎抓取、渲染页面。Edge和Chrome一样,也使用Chromium内核,所以Bing蜘蛛用户代理字符串里还包含一个Chrome版本号。

搜狗PC蜘蛛

Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)

搜狗移动蜘蛛

Sogou wap spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)

360搜索蜘蛛

Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36; 360Spider

神马搜索PC蜘蛛

Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 YisouSpider/5.0 Safari/537.36

神马搜索移动蜘蛛

Mozilla/5.0 (iPhone; CPU iPhone OS 10_3 like Mac OS X) AppleWebKit/602.1.50 (KHTML, like Gecko) CriOS/56.0.2924.75 Mobile/14E5239e YisouSpider/5.0 Safari/602.1m#07)

Yandex蜘蛛

Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.268

Yandex是极少的幸存的俄罗斯搜索引擎。Chrome/81.0.4044.268是版本号,会不断更新。

本文来自Zac,经由林云SEO整理发布,不代表林云SEO博客立场,转载请联系原作者。

发表评论

登录后才能评论