当前位置:首页 >  站长 >  建站经验 >  正文

实例用nofollow控制百度spider抓取解决百度不收录内容现象

 2012-09-10 10:56  来源: 北京论坛网   我来投稿 撤稿纠错

  【推荐】海外独服/站群服务器/高防

大家好,我是北京seo王继顺,相信很多网站都会遇到百度不收录内容页面的现象,而如果通过站长统计工具查看流量的来源时,你会发现大部分的流量来自网站的长尾关键词,也就是网站的内容页面,一旦百度不收录内容页面,对网站流量的获取势必影响很大。如果您的网站同样出现百度不收录内容页面现象,那就和我一起认真分析一下原因吧。

百度不收录内容页面的原因:

1、 网站内容质量太低

网站内容质量太低是造成百度不收录的主要原因,在8月22日百度官方公布的新算法《百度算法升级,将影响作弊站点收录及低质站点的排序》中,百度针对低质量内容的站点进行重点打击,尤其是采集内容的站点。所以,网站出现百度不收录内容页面现象,先检查自己的网站内容是否高质量呢?

解决办法:调整网站内容质量,如果网站内容是靠复制粘贴来的,那就增加每日原创文章的数量,或者调整网站内容页面的布局,比如增加用户评论功能,增加相关文章推荐,目的降低页面相似度,从而解决百度不收录内容页面现象。

2、 百度spider频繁抓取其他页面

排除掉网站内容质量低的因素,网站的内容页面依旧不收录,那就查看一下网站日志,看看百度spider是否针对某一些目录和页面频繁的抓取,造成抓取浪费。对搜索引擎的抓取流程有一定了解的朋友知道,百度spider对站点的每日抓取时间是有限的,一旦百度spider在有限的时间内频繁抓取某不关页面或者目录,势必造成对其他页面抓取不足和抓取不到的现象。

解决办法:查看网站日志,对频繁抓取的页面进行屏蔽,从而在有限的时间内让百度spider抓取到更多其他内容页面。

3、 其他因素汇总

百度不收录内容页面的因素是很多的,比如:服务器的因素造成的、网站改版的因素、网站大量死链接的因素、网站链接深度过深的因素等。

解决办法:服务器的稳定性很重要,如果长时间网站出现打不开的现象,对百度对内容页面的抓取是致命的;网站改版不要频繁修改标题和描述信息;用工具检测网站是否存在大量的死链接,将死链接进行清除或者屏蔽抓取;链接URL层次过深的可以调整链接结构,因为目录过深的内容百度spider抓取是比较困难的,甚至抓取不到。

上面我总结出了针对百度不收录内容页面的三点原因,那么在实际操作中,是如果运用的呢?下面我就针对自己的网站北淘吧论坛出现百度不收录内容页面而采取的方法从而成功解决的例子。

先来看看最近几天的百度收录情况表:

 

从图中数据可以看出,9月2号出现百度不收录内容页面现象,经过调整在9月9号得到解决。

网站自上线以来,虽然是论坛形式的,但是我对论坛内容管理的很严格,前期大部分的内容帖子均是我个人原创或者伪原创发布,所以,可以排除掉网站内容质量很低的原因,通过对服务器的监控数据,网站的服务器在最近一段时间运行正常,其他的因素也不是很多。我们来看看百度spider是否在抓取上出现了问题。

 

上图是通过网站日志分析软件对百度spider抓取目录9月2号-9月4号的统计,发现百度spider在频繁的抓取/bbx目录,这个目录是便民百宝箱的链接,现在很多地方论坛都使用的有这个插件,里面内容可谓重复度极高。

于是我对/bbx链接进行了nofollow控制,屏蔽百度spider对该目录的抓取,同时在robots.txt文件中,添加Disallow:/bbx命令,从而双重权限禁止百度spider对该目录的抓取。终于在9月9号,百度开始恢复对内容页面的收录。

当网站出现百度不收录内容页面现象时,站长需要认真检查自己的操作是否有造成百度不抓取的原因,结合对百度日志的分析,可以客观的发现问题从而解决问题。本文是由北淘吧北京人论坛北京论坛网结合自己的实际情况进行说明,如果您的网站同样有百度不收录内容页面现象,自己又把握不准,可以和王继顺联系,我很乐意帮助您解决。

申请创业报道,分享创业好点子。点击此处,共同探讨创业新机遇!

相关文章

信息推荐