热烈祝贺闫宝龙博客重新改版上线

当前位置:首页 » SEO优化 » 正文

美好未来加油

做网站优化必须懂得有哪些搜索引擎蜘蛛

 人参与  2019年11月14日 11:42  分类 : SEO优化  评论

    1、百度蜘蛛:BaiduSpider

    常见的Baiduspider和Baiduspider-image(抓取图片)

    百度公司还有其它几个蜘蛛:Baiduspider-video(抓取视频)、Baiduspider-news(抓取新闻)、Baiduspider-mobile(抓取wap),都不常见

    百度蜘蛛爬虫UA:

    PC端:Mozilla/5.0(compatible;Baiduspider-render/2.0;+http://www.baidu.com/search/spider.html)

    移动端:Mozilla/5.0(iPhone;CPUiPhoneOS9_1likeMacOSX)AppleWebKit/601.1.46(KHTML,likeGecko)Version/9.0Mobile/13B143Safari/601.1(compatible;Baiduspider-render/2.0;+http://www.baidu.com/search/spider.html)

    图片:“Baiduspider-image+(+http://www.baidu.com/search/spider.htm)”

    2、谷歌蜘蛛:Googlebot

    有人说谷歌蜘蛛是GoogleBot,官方谷歌蜘蛛最新名称为Googlebot,还发现了Googlebot-Mobile,看名字是应该是抓取wap内容的

    谷歌蜘蛛爬虫UA:

    “Mozilla/5.0(compatible;Googlebot/2.1;+http://www.google.com/bot.html)”

    图片:“Googlebot-Image/1.0”

    3、360蜘蛛:360Spider

    它是一个十分“勤奋抓爬”的蜘蛛

    360蜘蛛爬虫UA:

    Mozilla/5.0(compatible;MSIE9.0;WindowsNT6.1;Trident/5.0);

    4、搜狗蜘蛛:SogouNewsSpider

    搜狗公司还有其它几个蜘蛛:Sogouwebspider、Sogouinstspider、Sogouspider2、Sogoublog、SogouOrionspider,冬镜在日志中只发现了常见的SogouNewsSpider。(参考大神百度的robots文件,搜狗蜘蛛名称可以用Sogou概括,但有没有用就不知道了.)

    搜狗蜘蛛爬虫UA:

    “Sogouwebspider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)”

    5、必应蜘蛛:bingbot

    必应蜘蛛爬虫UA:

    “Mozilla/5.0(compatible;bingbot/2.0;+http://www.bing.com/bingbot.htm)”

    6、SOSO蜘蛛:Sosospider

    腾讯已玩死,交给搜狗公司了

    soso蜘蛛爬虫UA:

    “Sosospider+(+http://help.soso.com/webspider.htm)”

    7、雅虎蜘蛛:Yahoo!SlurpChina(雅虎中国)或Yahoo!Slurp(雅虎英文)

    雅虎蜘蛛爬虫UA:

    雅虎中国:“Mozilla/5.0(compatible;Yahoo!SlurpChina;http://misc.yahoo.com.cn/help.html)”

    雅虎英文:“Mozilla/5.0(compatible;Yahoo!Slurp;http://help.yahoo.com/help/us/ysearch/slurp)”

    8、MSN蜘蛛:msnbot,msnbot-media

    重庆SEO好像只见到msnbot-media在狂爬……

    MSN蜘蛛爬虫UA:

    *msnbot/1.0(+http://search.msn.com/msnbot.htm”)

    其它还有一搜蜘蛛:YisouSpider、Alexa蜘蛛:ia_archiver、宜搜蜘蛛:EasouSpider、即刻蜘蛛:JikeSpider,以及还有YandexBot、AhrefsBot和ezooms.bot等这些蜘蛛,据说这几个国外的蜘蛛都不咋好

有哪些蜘蛛.jpg

支付宝

支付宝

微信

微信

来源:闫宝龙博客(微信/QQ号:18097696),转载请保留出处和链接!

本文链接:http://www.yanbaolong.com/post/275.html

承接百度优化推广服务

本文标签:网站优化  搜索引擎蜘蛛    

闫宝龙从2007年进入互联网行业至今从来不做不负责任的事情,不做不负责任的产品!效果为王,实效才是根本!相信闫宝龙绝对为您做超出您意料的成绩!废话不说,只是实干。近我者赢!!!
富海360精准营销推广服务

  • 评论(0)
  • 相关文章

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。

搜索

网站分类

Tags列表

最新留言

朋友,加个微信呗

    闫宝龙微信

网站首页 | 站长新闻 | 好文分享 | 内涵段子 | 科技资讯 | SEO优化 | 网络营销 | 海外推广 | 案例分享 | 宝龙随记 | 网站地图

Copyright 2006-2019 西安网络营销人-闫宝龙 西安铭赞信息技术有限公司创始人
手机/微信:13991172090 QQ:18097696 邮箱:sales@yanbaolong.com 网站备案号:陕ICP备19006681号