详细罗列出各个搜索引擎蜘蛛日志及服务器常见状态码含义
发布时间：2023-09-06 点击：218
其实我们做seo网站优化的一般来说都是一个全知全能的职位，因为做优化做排名影响的因素太多了，就比如我们今天要讲的课题，日志的分析如果不会分析看不懂蜘蛛的爬行轨迹，那么在优化的过程中出现问题，就很有可能思路是错的而不自知。
iis日志的用途就是能够观察搜索引擎的蜘蛛来我们网站的爬取情况，可以更近距离的分析和接触蜘蛛。爬取次数，爬取时间点，爬取高峰期，爬取反应出来的http状态码，为我们带来清晰的分析便利。
一、各大搜索引擎的蜘蛛名称：
百度(baidu)爬虫名称(baiduspider)
谷歌(google)爬虫名称(googlebot)
雅虎(yahoo)爬虫名称(yahooslurp)
有道(yodao)蜘蛛名称(yodaobot)
搜狗(sogou)蜘蛛名称(sogouspider)
msn的蜘蛛名称：msnbot
二、iis分析：
案例日志：61.135.168.22--[11/jan/2009:04:02:45+0800]"get/thread-7303-1-1.htmlhttp/1.1"2008450"-""baiduspider(+http:-www-baidu-com/search/spider.htm)"
分析：
1、61.135.168.22是访问了是服务器ip为这个的网站.
2、11/jan/2009:04:02:45表示蜘蛛爬行时间
3、get/thread-7303-1-1.htmlhttp，表示蜘蛛抓取了这个页面。
4、200状态码表示蜘蛛抓取页面成功;404表示蜘蛛抓取页面失败。
5、8450表示此次抓取了8450个字节
6、baiduspider(+http:-www-baidu-com/search/spider.htm)表示百度蜘蛛的名称
三、基本状态码：
200：请求已经完成，蜘蛛访问页面正常
301：已经移动，永久重定向
302：临时重定向
304：蜘蛛爬取后发现，页面没有修改
305：使用代理
400：请求错误
404：找不到页面
四、iis详细状态码含义：
100-表示已收到请求的一部分，正在继续发送余下部分。
101-切换协议。
2xx-成功服务器成功地接受了客户端请求。(只要是2xx的状态，都表示成功)
200-确定。客户端请求已成功。
201-已创建。
202-已接受。
203-非有名性信息。
204-无内容。
205-重置内容。
206-部分内容。
300-针对收到请求，服务器可执行多种操作。
301-永久移动转移，请求的内容已永久移动其他新位置。
302-临时移动转移，请求的内容已临时移动新的位置
304-未修改。自从上次请求后，请求的内容未修改过。
307-临时重定向。服务器目前从不同位置响应请求，但请求者应继续使用原有位置来进行以后的请求。
400-错误的请求。
401-访问被拒绝。iis定义了许多不同的401错误，它们指明更为具体的错误原因。这些具体的错误代码在浏览器中显示，但不在iis日志中显示：
401.1-登录失败。
401.2-服务器配置导致登录失败。
401.3-由于acl对资源的限制而未获得授权。
401.4-筛选器授权失败。
401.5-isapi/cgi应用程序授权失败。
401.7-访问被web服务器上的url授权策略拒绝。这个错误代码为iis6.0所专用。
403-禁止访问：iis定义了许多不同的403错误，它们指明更为具体的错误原因：
403.1-执行访问被禁止。
403.2-读访问被禁止。
403.3-写访问被禁止。
403.4-要求ssl.
403.5-要求ssl128.
403.6-ip地址被拒绝。
403.7-要求客户端证书。
403.8-站点访问被拒绝。
403.9-用户数过多。
403.10-配置无效。
403.11-密码更改。
403.12-拒绝访问映射表。
403.13-客户端证书被吊销。
403.14-拒绝目录列表。
403.15-超出客户端访问许可。
403.16-客户端证书不受信任或无效。
403.17-客户端证书已过期或尚未生效。
403.18-在当前的应用程序池中不能执行所请求的url.这个错误代码为iis6.0所专用。
403.19-不能为这个应用程序池中的客户端执行cgi.这个错误代码为iis6.0所专用。
403.20-passport登录失败。这个错误代码为iis6.0所专用。
404-未找到请求的内容。
404.0-未找到文件或目录。
404.1-无法在所请求的端口上访问web站点。
404.2-web服务扩展锁定策略阻止本请求。
404.3-mime映射策略阻止本请求。
405-用来访问本页面的http谓词不被允许(方法不被允许)
406-客户端浏览器不接受所请求页面的mime类型。
407-要求进行代理身份验证。
412-前提条件失败。
413-请求实体太大。
414-请求uri太长。
415-不支持的媒体类型。
416-所请求的范围无法满足。
417-执行失败。
423-锁定的错误。
500-服务器内部错误。
500.12-应用程序正忙于在web服务器上重新启动。
500.13-web服务器太忙。
500.15-不允许直接请求global.asa.
500.16-unc授权凭据不正确。这个错误代码为iis6.0所专用。
500.18-url授权存储不能打开。这个错误代码为iis6.0所专用。
500.100-内部asp错误。
501-服务器无法完成请求的功能。
502-服务器用作网关或代理服务器时收到了无效响应。
502.1-cgi应用程序超时。
502.2-cgi应用程序出错。
503-服务不可用。这个错误代码为iis6.0所专用。
504-网关超时。
505-http版本不受支持。
网站的稳定更新仍然没有排名 多从网站框架与关键词定位找原因
企业网站优化打好基础引流效果更佳
教你如何寻找高质量原创内容源
企业选择哪种seo优化公司更有效果且成本低呢？
外链质量和数量，哪一个是SEO外链建设的核心？
网站内容的更新是搜索引擎给用户解决问题的满意答复
面对百度算法的千变万化，企业网站如何灵活运用seo优化公式？
将网站外包给优化公司应该注意什么
iis日志的用途就是能够观察搜索引擎的蜘蛛来我们网站的爬取情况，可以更近距离的分析和接触蜘蛛。爬取次数，爬取时间点，爬取高峰期，爬取反应出来的http状态码，为我们带来清晰的分析便利。
一、各大搜索引擎的蜘蛛名称：
百度(baidu)爬虫名称(baiduspider)
谷歌(google)爬虫名称(googlebot)
雅虎(yahoo)爬虫名称(yahooslurp)
有道(yodao)蜘蛛名称(yodaobot)
搜狗(sogou)蜘蛛名称(sogouspider)
msn的蜘蛛名称：msnbot
二、iis分析：
案例日志：61.135.168.22--[11/jan/2009:04:02:45+0800]"get/thread-7303-1-1.htmlhttp/1.1"2008450"-""baiduspider(+http:-www-baidu-com/search/spider.htm)"
分析：
1、61.135.168.22是访问了是服务器ip为这个的网站.
2、11/jan/2009:04:02:45表示蜘蛛爬行时间
3、get/thread-7303-1-1.htmlhttp，表示蜘蛛抓取了这个页面。
4、200状态码表示蜘蛛抓取页面成功;404表示蜘蛛抓取页面失败。
5、8450表示此次抓取了8450个字节
6、baiduspider(+http:-www-baidu-com/search/spider.htm)表示百度蜘蛛的名称
三、基本状态码：
200：请求已经完成，蜘蛛访问页面正常
301：已经移动，永久重定向
302：临时重定向
304：蜘蛛爬取后发现，页面没有修改
305：使用代理
400：请求错误
404：找不到页面
四、iis详细状态码含义：
100-表示已收到请求的一部分，正在继续发送余下部分。
101-切换协议。
2xx-成功服务器成功地接受了客户端请求。(只要是2xx的状态，都表示成功)
200-确定。客户端请求已成功。
201-已创建。
202-已接受。
203-非有名性信息。
204-无内容。
205-重置内容。
206-部分内容。
300-针对收到请求，服务器可执行多种操作。
301-永久移动转移，请求的内容已永久移动其他新位置。
302-临时移动转移，请求的内容已临时移动新的位置
304-未修改。自从上次请求后，请求的内容未修改过。
307-临时重定向。服务器目前从不同位置响应请求，但请求者应继续使用原有位置来进行以后的请求。
400-错误的请求。
401-访问被拒绝。iis定义了许多不同的401错误，它们指明更为具体的错误原因。这些具体的错误代码在浏览器中显示，但不在iis日志中显示：
401.1-登录失败。
401.2-服务器配置导致登录失败。
401.3-由于acl对资源的限制而未获得授权。
401.4-筛选器授权失败。
401.5-isapi/cgi应用程序授权失败。
401.7-访问被web服务器上的url授权策略拒绝。这个错误代码为iis6.0所专用。
403-禁止访问：iis定义了许多不同的403错误，它们指明更为具体的错误原因：
403.1-执行访问被禁止。
403.2-读访问被禁止。
403.3-写访问被禁止。
403.4-要求ssl.
403.5-要求ssl128.
403.6-ip地址被拒绝。
403.7-要求客户端证书。
403.8-站点访问被拒绝。
403.9-用户数过多。
403.10-配置无效。
403.11-密码更改。
403.12-拒绝访问映射表。
403.13-客户端证书被吊销。
403.14-拒绝目录列表。
403.15-超出客户端访问许可。
403.16-客户端证书不受信任或无效。
403.17-客户端证书已过期或尚未生效。
403.18-在当前的应用程序池中不能执行所请求的url.这个错误代码为iis6.0所专用。
403.19-不能为这个应用程序池中的客户端执行cgi.这个错误代码为iis6.0所专用。
403.20-passport登录失败。这个错误代码为iis6.0所专用。
404-未找到请求的内容。
404.0-未找到文件或目录。
404.1-无法在所请求的端口上访问web站点。
404.2-web服务扩展锁定策略阻止本请求。
404.3-mime映射策略阻止本请求。
405-用来访问本页面的http谓词不被允许(方法不被允许)
406-客户端浏览器不接受所请求页面的mime类型。
407-要求进行代理身份验证。
412-前提条件失败。
413-请求实体太大。
414-请求uri太长。
415-不支持的媒体类型。
416-所请求的范围无法满足。
417-执行失败。
423-锁定的错误。
500-服务器内部错误。
500.12-应用程序正忙于在web服务器上重新启动。
500.13-web服务器太忙。
500.15-不允许直接请求global.asa.
500.16-unc授权凭据不正确。这个错误代码为iis6.0所专用。
500.18-url授权存储不能打开。这个错误代码为iis6.0所专用。
500.100-内部asp错误。
501-服务器无法完成请求的功能。
502-服务器用作网关或代理服务器时收到了无效响应。
502.1-cgi应用程序超时。
502.2-cgi应用程序出错。
503-服务不可用。这个错误代码为iis6.0所专用。
504-网关超时。
505-http版本不受支持。
网站的稳定更新仍然没有排名 多从网站框架与关键词定位找原因
企业网站优化打好基础引流效果更佳
教你如何寻找高质量原创内容源
企业选择哪种seo优化公司更有效果且成本低呢？
外链质量和数量，哪一个是SEO外链建设的核心？
网站内容的更新是搜索引擎给用户解决问题的满意答复
面对百度算法的千变万化，企业网站如何灵活运用seo优化公式？
将网站外包给优化公司应该注意什么