各大搜索引擎蜘蛛名称大全 挺全的
2015-09-17 14:48
最新最准确各大搜索引擎蜘蛛名称
1、百度蜘蛛:Baiduspider 常见百度旗下同类型蜘蛛还有下面这些:Baiduspider-mobile(抓取wap)、Baiduspider-image(抓取图片)、Baiduspider-video(抓取视频)、Baiduspider-news(抓取新闻)。 注:以上百度蜘蛛目前常见的是Baiduspider和Baiduspider-image两种。
2、谷歌蜘蛛:Googlebot 谷歌蜘蛛最新名称为“compatible; Googlebot/2.1;” “Googlebot-Mobile”,看名字是抓取wap内容的。
3、360蜘蛛:360Spider
4、SOSO蜘蛛:Sosospider
5、雅虎蜘蛛:“Yahoo! Slurp China”或者Yahoo! 6、有道蜘蛛:YoudaoBot,YodaoBot
7、搜狗蜘蛛:Sogou News Spider 搜狗蜘蛛还包括如下这些:Sogou web spider、Sogou inst spider、Sogou spider2、Sogou blog、Sogou News Spider、Sogou Orion spider,Sogou web spider、Sogou inst spider、 Sogou web spider/4.0、Sogou News Spider/4.0、Sogou inst spider/4.0spider2、Sogou blog、Sogou News Spider、Sogou Orion spider
8、MSN蜘蛛:msnbot,msnbot-media
9、必应蜘蛛:bingbot 线上(compatible; bingbot/2.0;)
10、一搜蜘蛛:YisouSpider
11、Alexa蜘蛛:ia_archiver
12、宜搜蜘蛛:EasouSpider
13、即刻蜘蛛:JikeSpider
14、一淘网蜘蛛:EtaoSpider Mozilla/5.0 (compatible; EtaoSpider/1.0; http://省略/EtaoSpider)"
15、国外蜘蛛:YandexBot、AhrefsBot和ezooms.bot
【责任编辑:小戴工程师】
上一篇:dede更改幻灯片颜色和文字的方法 下一篇:WordPress怎么老是占内存过大怎么解决?最新文章
2015-09-17 14:48
相关文章
2015-09-17 14:48