各搜索引擎蜘蛛介绍，搜索引擎蜘蛛爬取网站，抓取数据的规则

各搜索引擎蜘蛛介绍，搜索引擎蜘蛛爬取网站，抓取数据的规则
1、百度蜘蛛：baiduspider
常见的baiduspider和baiduspider-image（抓取图片）
百度公司还有其它几个蜘蛛：baiduspider-video（抓取视频）、baiduspider-news（抓取新闻）、baiduspider-mobile（抓取wap），都不常见
百度蜘蛛爬虫ua：
pc端：mozilla/5.0 (compatible; baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)
移动端：mozilla/5.0 (iphone; cpu iphone os 9_1 like mac os x) applewebkit/601.1.46 (khtml, like gecko) version/9.0 mobile/13b143 safari/601.1 (compatible; baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)
图片：“baiduspider-image+(+http://www.baidu.com/search/spider.htm)”
2、谷歌蜘蛛：googlebot
有人说谷歌蜘蛛是googlebot，官方谷歌蜘蛛最新名称为googlebot，还发现了googlebot-mobile，看名字是应该是抓取wap内容的
谷歌蜘蛛爬虫ua：“mozilla/5.0 (compatible; googlebot/2.1; +http://www.google.com/bot.html)”
3、360蜘蛛：360spider
它是一个十分“勤奋抓爬”的蜘蛛
360蜘蛛爬虫ua：
mozilla/5.0 (compatible; msie 9.0; windows nt 6.1; trident/5.0);
4、搜狗蜘蛛：sogou news spider
搜狗公司还有其它几个蜘蛛：sogou web spider、sogou inst spider、sogou spider2、sogou blog、sogou orion spider，冬镜在日志中只发现了常见的sogou news spider。（参考大神百度的robots文件，搜狗蜘蛛名称可以用sogou概括，但有没有用就不知道了.）
搜狗蜘蛛爬虫ua：
“sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)”
5、必应蜘蛛：bingbot
必应蜘蛛爬虫ua：
“mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)”
6、soso蜘蛛：sosospider
腾讯已玩死，交给搜狗公司了
soso蜘蛛爬虫ua：“sosospider+(+http://help.soso.com/webspider.htm)”
7、雅虎蜘蛛：yahoo! slurp china（雅虎中国）或yahoo! slurp（雅虎英文）
雅虎蜘蛛爬虫ua：
雅虎中国：“mozilla/5.0 (compatible; yahoo! slurp china; http://misc.yahoo.com.cn/help.html)”
雅虎英文：“mozilla/5.0 (compatible; yahoo! slurp; http://help.yahoo.com/help/us/ysearch/slurp)”
8、msn蜘蛛：msnbot，msnbot-media
重庆seo好像只见到msnbot-media在狂爬……
msn蜘蛛爬虫ua：*msnbot/1.0 (+http://search.msn.com/msnbot.htm”)
其它还有 一搜蜘蛛：yisouspider、alexa蜘蛛：ia_archiver、宜搜蜘蛛：easouspider、即刻蜘蛛：jikespider，以及还有yandexbot、ahrefsbot和ezooms.bot等这些蜘蛛，据说这几个国外的蜘蛛都不咋好
搜索引擎蜘蛛是搜索引擎的一个自动程序。它的作用是访问互联网上的网页、图片、视频等内容，建立索引数据库，使用户能在搜索引擎中搜索到您网站的网页、图片、视频等内容。
一般用法为“ spider+url”，后面的url(网址)是搜索引擎的痕迹，如果要查看某搜索引擎是否来爬取过你们的网站，可查看服务器的日志里是否有该url,同时还能查看来的时间、频率等…
1、百度蜘蛛：可以根据服务器的负载能力调节访问密度，大大降低服务器的服务压力。根据以往的经验百度蜘蛛通常会过度重复地抓取同样的页面，导致其他页面无法被抓取到而不能被收录。这种情况可以采取 robots协议的方法来调节。
2、谷歌蜘蛛：谷歌蜘蛛属于比较活跃的网站扫描工具，其间隔28天左右就派出“蜘蛛”检索有更新或者有修改的网页。与百度蜘蛛大的不同点是谷歌蜘蛛的爬取深度要比百度蜘蛛多一些。
3、雅虎中国蜘蛛：如果某个网站在谷歌网站下没有很好的收录，在雅虎下也不会有很好的收录和爬行。雅虎蜘蛛的数量庞大，但平均的效率不是很高，相应的搜索结果质量不高。
4、微软必应蜘蛛：必应与雅虎有着深度的合作关系，所以基本运行模式和雅虎蜘蛛差不多。
搜索引擎蜘蛛的抓取规则，如下四点提供参考：
1、搜索引擎蜘蛛要能看到链接文字
这个是搜索引擎蜘蛛爬行时能够检索到的文字，如果文字或链接是通过javascript调用，蜘蛛是检索不到的。页面的文字内容中主要内容位置越靠前越有利，例如产品名称放到页面越靠前的位置，对该页面产品关键词的排名越有利。
2、搜索引擎蜘蛛能爬行未经 nofollow处理过的链接
这一项列出的是搜索引擎蜘蛛能够检索到链接，蜘蛛能够通过这些链接访问网站其他页面，越靠前的链接，被蜘蛛爬行的几率就越大，被搜索引擎收录的可能性越高。
3、搜索引擎蜘蛛能发现图片链接并能阅读到这些图片所包含的含义
这里主要展示该页面被搜索引擎蜘蛛和国际w3c标准化监测器所检索到的图片，搜索引擎能够根据图片at="" 去判断该图片的类型，性质和主题，对于判断该图片链接的页面的主题有巨大帮助，能有效提高商品展示页的搜索引擎排名根据w3c标准，页面上所有图片都必须添加alt="" 图片注释，网站logo使用网站名称加简短描述，商品图片使用商品名称，网页框架图片留空。
4、搜索引擎蜘蛛能很好地识别html代码
模拟搜索引擎蜘蛛爬行该页面时，获得的“最简化代码->是指过滤css， javascript后的代码”，由此可以看出减少代码空行，换行，空格等多余代码空间非常重要。
5、搜狗蜘蛛：搜狗蜘蛛的爬取速度比较快，抓取的数量比起速度来说稍微少点。大的特点是不抓取 robot. text文件。
6、搜搜蜘蛛：搜搜早期是运用谷歌的搜索技术，谷歌有收录，搜搜肯定也会收录。2011年搜搜已经宣布采用自己的独立搜索技术，但搜搜蜘蛛的特性和谷歌蜘蛛的特点还是有着相似的地方。
8、有道蜘蛛：和其他搜索引擎蜘蛛一样，凡是高权重网站的链接一般都能将其收录。爬行原理也是通过链接之间的爬行。


兰州APP开发价格为什么几千到几十万不等？
提高关键词排名的SEO技巧
响应式网站对SEO的影响有哪些关键点？
钟表网站建设的公司应该怎样选择？
网站建设不能只是摆设,需要做网站运营及推广
合理优化网站网页，让营销型网站排名更靠前
频繁修改网站的标题及关键词的后果
上海网站建设公司、上海网站设计公司能够起到什么样的宣传效果