公告:希望目录是专业免费收录网站入口,为广大站长提供免费网站收录的服务。对!您没有看错,就是免费网站导航!免费网站分类目录!免费收录网站入口!!!

新站提交
  • 网站:45373
  • 待审:134
  • 小程序:18
  • 文章:9155
  • 会员:28861

  Robots.txt 一直提示百度封禁,怎么处理?
  这两天有很多SEO小伙伴都遇到这样一个问题:就是当自己新网站上线之前,很多SEO运营习惯性的利用robots.txt进行封禁搜索引擎蜘蛛,特别是百度蜘蛛访问。
  而当自己的网站相关内容调整好之后,在对其进行恢复,可在恢复的过程中,近段时间,总是遇到这样的问题。
  那么,Robots.txt 一直提示百度封禁,怎么处理?
  根据以往SEO实战经验,蝙蝠侠IT,将通过如下内容阐述:
  什么是百度封禁?
  简单理解:就是你的页面由于之前操作robots.txt的问题,而导致采用命令屏蔽了百度搜索引擎的抓取。
  如下图:
  图片
  你可能在百度搜索资源平台下面,看到这样的反馈结果。
  很明显,如果你的重要页面长期处于这样的情况,是很难得到有效索引的,因此,我们有必要去分析一下原因。
  1、错误屏蔽
  经常有很多SEO小伙伴问题为什么我的网页长时间不收录,也没有任何排名,在某种程度上我们第一时间就建议大家去百度搜索资源平台做抓取诊断。
  特别是对于企业新网站而言,很长时间节点都是因为错误的配置了robots.txt文件,而出现低级性错误。
  因此,你第一件事情需要做的就是:检测robots.txt正确性。
  如下图:
  图片
  然后看看是否配置正确,比如:
  图片
  我们会看到系统反馈没有错误,然后接下来我们可以测试一下内页和重要页面的可访问性。
  如果显示的都是允许反馈,那么就证明没有问题。
  后续我们在做抓取诊断的时候,问题不大。
  2、故意屏蔽
  故意屏蔽搜索引擎抓取,经常是新网站上线之前,采用的一个策略,而当网站调整好之后,在将robots.txt文件中屏蔽的网址进行解封。
  这是我们常规操作策略,而就在近段时间,很多SEO运营,发现在百度搜索资源平台这么操作之后,虽然robots.txt文件更新,相关页面是允许访问的。
  而在抓取诊断的时候,仍然存在页面robots.txt被封禁的情况,这让很多SEO运营,感到不知所措。
  面对这个问题我们给出两个方法:
  ① 停止服务器重启
  一般情况下,robots.txt变更之后,仍然显示封禁的状态可能是这个文件存在一定的缓存,但对于SEO运营而言很多SEO小伙伴并不清楚怎么更新页面缓存。
  特别是一些虚拟主机,因此我们统一建议大家简单粗暴,停止关机,重启服务器。
  在查看是否得到解决。
  如果有CDN服务的,一定要在CDN更新这个文件。
  ② 反馈给百度搜索资源平台
  如果上面那个方法你已经使用过了,还是存在这个问题,那么我们建议你等几天,看看百度搜索资源平台是否更新,如果实在还没有解决,直接反馈给官方。
  总结:目前这个问题,相对比较尴尬,因此,在测试新网站的时候,我们还是建议在自己主机搭建的环境中测试吧,然后直接上线,就不需要在用robots.txt屏蔽测试了。

分享到:

  admin

注册时间:

网站:0 个   小程序:3 个  文章:0 篇

  • 45373

    网站

  • 18

    小程序

  • 9155

    文章

  • 1

    会员

赶快注册账号,推广您的网站吧!
最新入驻小程序

桔子汇率换算2020-03-30

桔子汇率换算,支持美元,欧元,英镑,日

轻松入眠2020-03-30

轻松入眠小程序,睡眠、放松、减压

拼心形照片墙2020-03-30

拼成心形照片,保留美好瞬间,快来和

趣味头像2020-03-30

趣味头像小程序功能,趣味头像一键

时光天气2020-03-30

时光天气是一个小而优化的天气小

外卖地图2020-03-30

送外卖老是找不到地方?叫外卖每次