Robots.txt 一直提示百度封禁,怎么处理?
这两天有很多SEO小伙伴都遇到这样一个问题:就是当自己新网站上线之前,很多SEO运营习惯性的利用robots.txt进行封禁搜索引擎蜘蛛,特别是百度蜘蛛访问。
而当自己的网站相关内容调整好之后,在对其进行恢复,可在恢复的过程中,近段时间,总是遇到这样的问题。
那么,Robots.txt 一直提示百度封禁,怎么处理?
根据以往SEO实战经验,蝙蝠侠IT,将通过如下内容阐述:
什么是百度封禁?
简单理解:就是你的页面由于之前操作robots.txt的问题,而导致采用命令屏蔽了百度搜索引擎的抓取。
如下图:
图片
你可能在百度搜索资源平台下面,看到这样的反馈结果。
很明显,如果你的重要页面长期处于这样的情况,是很难得到有效索引的,因此,我们有必要去分析一下原因。
1、错误屏蔽
经常有很多SEO小伙伴问题为什么我的网页长时间不收录,也没有任何排名,在某种程度上我们第一时间就建议大家去百度搜索资源平台做抓取诊断。
特别是对于企业新网站而言,很长时间节点都是因为错误的配置了robots.txt文件,而出现低级性错误。
因此,你第一件事情需要做的就是:检测robots.txt正确性。
如下图:
图片
然后看看是否配置正确,比如:
图片
我们会看到系统反馈没有错误,然后接下来我们可以测试一下内页和重要页面的可访问性。
如果显示的都是允许反馈,那么就证明没有问题。
后续我们在做抓取诊断的时候,问题不大。
2、故意屏蔽
故意屏蔽搜索引擎抓取,经常是新网站上线之前,采用的一个策略,而当网站调整好之后,在将robots.txt文件中屏蔽的网址进行解封。
这是我们常规操作策略,而就在近段时间,很多SEO运营,发现在百度搜索资源平台这么操作之后,虽然robots.txt文件更新,相关页面是允许访问的。
而在抓取诊断的时候,仍然存在页面robots.txt被封禁的情况,这让很多SEO运营,感到不知所措。
面对这个问题我们给出两个方法:
① 停止服务器重启
一般情况下,robots.txt变更之后,仍然显示封禁的状态可能是这个文件存在一定的缓存,但对于SEO运营而言很多SEO小伙伴并不清楚怎么更新页面缓存。
特别是一些虚拟主机,因此我们统一建议大家简单粗暴,停止关机,重启服务器。
在查看是否得到解决。
如果有CDN服务的,一定要在CDN更新这个文件。
② 反馈给百度搜索资源平台
如果上面那个方法你已经使用过了,还是存在这个问题,那么我们建议你等几天,看看百度搜索资源平台是否更新,如果实在还没有解决,直接反馈给官方。
总结:目前这个问题,相对比较尴尬,因此,在测试新网站的时候,我们还是建议在自己主机搭建的环境中测试吧,然后直接上线,就不需要在用robots.txt屏蔽测试了。
Robots.txt 一直提示百度封禁,怎么处理?
分享到:
-
45373
网站
- 18
小程序
-
9155
文章
-
1
会员
热门网站
- 全图网 www.quantuwang.com
- 伪娘之家 www.wnjia.cn
- EEUSS影院 18.www.eeuus.com
- 10s影视网 www.10sdy.com
- 放屁网,放屁音乐网 www.fangpi.net
- KD影视 高清 免费 稀缺资源 全网免费观看 KD影视 KD电影网 最大的电影影视平台 www.nnxxl.com
- N站_Niconico-日本动漫网站 www.nicovideo.jp
- 陌陌号购买,陌陌实名号出售,陌陌站街号在线购买(陌陌号自助批发平台) www.momofahao.top
- BTspread中文网 www.btspread.la
- 最好的BT搜索,种子搜索网站 - Sobt www.sobt5.com
最新入驻小程序
热门文章
- 朱元璋和朱瞻基是什么关系 百度百科一秒告诉你答案 09-11
- 特斯拉:Model Y Performance高性能版价格上调1万元 09-11
- 骑新日最in电动车,做gai上最潮学生族! 09-10
- 农业农村部正式启动“2021金秋消费季”,拼多多上线“丰收馆”共庆农民丰收节 09-08
- 同城零售比拼的不只是速度,达达集团是如何实现业绩层面的增长 09-08
- 余额宝用户存入 2.2 亿元年入百万,还有“ 00 后”也开始攒钱了,你的收益呢? 09-09
- 捋一捋信息流广告的“6宗罪” 09-07
- 最新!抖音信息流“button”功能升级介绍【附产品手册下载】 09-07
- 竞价账户数据那么多,到底应该看什么? 09-09
- 美地方法官裁决:苹果不得强迫开发者使用应用内支付,可提及其他付款方式 09-11