• 绍兴SEO服务联系方式 【电话/微信:13186936775 】 【QQ:2621228281】
  • 授人以鱼不如授人以渔,欢迎大家访问微趣味博客,微趣味博客提供绍兴网站SEO优化服务
  • 绍兴网站优化服务联系方式 【电话/微信:13186936775 】 【QQ:2621228281】
  • 微趣味博客提供SEO网站优化方案,为绍兴企业提供更好的网络营销方法!
  • 微趣味博主联系方式 【电话/微信:13186936775 】 【QQ:2621228281】

什么导致搜索引擎蜘蛛不能顺利爬行

项目思维 Steven 2年前 (2016-03-26) 375次浏览 已收录 1个评论 扫描二维码

      什么导致搜索引擎蜘蛛不能顺利爬行,Steven在有时候SEO诊断的过程中经常会遇到这样的问题,有些网页,内容不错,用户也可以正常访问,但是搜索引擎蜘蛛就是无法正常访问并且抓取,造成搜索结果覆盖率切实,对百度搜索引擎对站点都是一种损失。百度把这种情况叫做“抓取异常”。对于大量内容无法正常抓取的网站,百度搜索引擎会认为网站存在用户体验上面的一种却失。并降低对网站的评价,在抓取,索引,排序上都会受到一定程序的负面影响,最终影响到网站从百度上面获取的流量,下面Steven在网络上面摘取比较常见的抓取异常的原因,提供大家的思考。

什么导致搜索引擎蜘蛛不能顺利爬行

      1.服务器链接异常

      服务器链接异常会有两种情况:一种是站点不稳定,搜索引擎蜘蛛尝试连接你的网站的服务器时候出现暂时无法连接的情况,另一种是搜索引擎蜘蛛一直无法链接上你的网站服务器。

      造成服务器链接异常的原因通常是您的网站服务器过大,超负荷运转,也有可能是您的网站运行不正常,请检测网站的web服务器时候安装且正常运行,并使用浏览器检查主要页面能否正常访问,您的网站和主机还可能阻止了搜索引擎蜘蛛的访问,您需要检查网站的主机和防火墙。

什么导致搜索引擎蜘蛛不能顺利爬行

      2.网络运营商异常

      网路运营商分电信和联通,搜索引擎蜘蛛通过电信或者网通无法访问您的网站,如果出现这种情况,您需要与网络服务运营商进行联系,或者购买拥有双线服务的空间或者购买CDN服务。

      3.DNS异常

      当搜索引擎蜘蛛无法解析您网站的IP时,会出现DNS异常。可能是您的网站IP地址错误,或者域名服务商把搜索引擎蜘蛛封禁,请使用WHIOS或者host查询自己网站的ip地址是否正确且可解析,如果不正确或者无法解析的,请尽快的找域名注册商联系,更新自己的IP地址。

      4.IP封禁

      IP封禁为:限制网络的出口IP地址,禁止该IP端的使用者进行内容访问,在这里特指封禁了搜索引擎蜘蛛IP,当您的网站不希望搜索引擎蜘蛛访问的时候,才需要设置,如果您希望搜索引擎蜘蛛访问您的网站,请检查一下相关设置中是否误添加了搜索引擎的ip。也有可能是您网站所在在空间服务商把搜索引擎IP进行了封禁,这时,您需要联系服务商去解决问题、

什么导致搜索引擎蜘蛛不能顺利爬行

      6.UA封禁

      UA即为用户代理,服务器通过UA识别访问者的身份,当网站针对指定的UA访问,出现方法异常页面,或者跳转到其他页面的情况,即为UA封禁。当您的网站不需要搜索引擎蜘蛛访问时候,才需要设置的。如果你希望 搜索引擎蜘蛛访问您的网站的时候,查看useragent 的相关设置中时候有搜索引擎UA  ,并及时的修改。

      7.死链

      页面已经失效,无法对用户提供有价值的信息的页面就是死链接,包括协议死链和内容死链两种形式。协议死链,就是页面的TCP协议状态/http协议状态明确表示的死链,常见的如404.402.502状态等;内容死链,即服务器返回状态是正常的,但是内容已经变更为不存在,已经删除或者需要权限等与原内容无关的信息页面的死链。

      对于死链,Steven建议站点使用协议死链,并通过百度站长平台—-死链工具向百度提交,以便百度可以更快的发现死链,减少死链对用户以及搜索引擎造成的负面影响。

什么导致搜索引擎蜘蛛不能顺利爬行

        8.异常跳转

      将网页请求重新指向其他位置即为跳转,异常跳转指的一般是一下这几种情况。

      1。当前该页面为无效页面,直接跳转到前一目录,或者当前首页。百度建议站长将该无效页面的入口超链接直接的删除。

      2.跳转到出错或者无效的页面。

      提示:对于长期跳转到其他域名的情况,如网站更换域名,百度建议使用201,跳转协议进行跳转设置。

      9.其他异常情况

      1.针对百度refer的异常,网页针对来自百度refer返回不同于正常的内容的行为。

      2.真会百度UA的异常,网页对百度UA返回不同于页面原内容的行为。

      3.JS跳转行为异常:网页加载了百度无法识别的JS跳转代码,是的用户通过搜索结果进入页面发生了跳转的情况。

      4.压力过大引起的偶然封禁,百度会根据站点的规模,访问量等信息,自动的设定合理的抓取压力,但是在异常的情况下,压力控制市场时候,度武器就会根据自身负荷进行保护性的偶然封禁,这汇总情况下,请在返回码中返回502.这样 搜索引擎蜘蛛会过段时间再来赚取你的链接,如果网站已经空闲,就会抓取成功。

      这写都是可能导致搜索引擎蜘蛛抓取网站的时候有不顺利的抓取的一些异常行为,站长朋友们可以通过自己的自身的网站的情况,合理的做出相应的决策,也可以通过寻找专业的技术人员的进行解决。

     那么今天的分享就到此结束了,Steven下台鞠躬,还是老样子,希望大家可以多多支持微趣味博客,也同时的希望大家可以多多的点击一下博客里面的广告。活动依旧存在!!!


微趣味博客, 版权所有丨如未注明 , 均为原创丨本网站大量内容均采集与网络,如侵犯版权请联系博主|协议进行授权 , 转载请注明什么导致搜索引擎蜘蛛不能顺利爬行
喜欢 (0)
[940834918@qq.com]
分享 (0)
Steven
关于作者:
一个互联网草根站长,曾经在2013年开创pps视频联盟平台风潮,2014年制作不报毒操作CPA广告产品静默包,培训CPA广告联盟的操作方式,2015年制作十五套CPA广告操作教程,影响人数上万。在网络营销推广上面有三年以上的经验,精通QQ、微信、贴吧、论坛等社交平台和社区引流。精通博客,论坛和单页的网站建立,熟知SEO优化和推广。拥有多年的网络营销的经验,精通视频营销推广的视频软推广和视频硬推广。拥有大型B2B网站SEO优化经验与企业网站优化经验。 目前是某网络科技公司SEO顾问及SEO项目负责人。 联系方式:QQ:2621228281 微信:hushaonan1206
发表我的评论
取消评论

表情 贴图 加粗 删除线 居中 斜体 签到

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址
(1)个小伙伴在吐槽
  1. 学到了学到了