当前位置:首页 >  站长 >  建站经验 >  正文

网站上线前把robots写了所有蜘蛛禁止抓取,取消后还是这样怎么办

 2016-08-04 15:36  来源: 用户投稿   我来投稿 撤稿纠错

  【推荐】海外独服/站群服务器/高防

不知道有没有其他站长跟我一样,技术部把网站后台搭建好了,然后网站还是很多东西需要修改的,特别是TDK改了一遍又一遍,但是这时候我没有去百度站长申请闭站保护,却是在网站根目录上传了robots文件,里面写着:

User-agent: *

Disallow:/

这表示我的网站禁止所有蜘蛛来抓取,那么这种情况有什么危害呢,蜘蛛来了一次两次以后都满头灰,那么以后光顾的也就越来越少了。原本我是打算禁止2~3天,前端跟美工配合我完成网站的修改,第三天编辑录入文章就可以的。但是因为美工那里拖了进度,我就没管先,还是这样写。

等网站正式改好之后那是两个星期后的事情了,当天那会我就把robots改了,然后重新提交给百度。而且还加上网站地图

robots写法

而因为网站架构不错的原因吧,在上线第二天品牌词就排在了首页,但是很明显的一个是,百度搜索网站品牌词的时候,显示出来的只有网站标题,其他那些呢,相信大家也猜到了:该网站的robots.txt文件存在限制指令,系统无法提供该页面的内容描述。

百度显示限制指令

那么预料到有这种情况怎么办呢,其实我用robots禁止蜘蛛抓取两个星期的话不如直接申请闭站保护来的好,但是那会刚好忙其他事情去了,就没有顾上。那么对于一个草根站长来说遇见这种情况肯定很慌,其实能做的也没多少,那么我是怎么做的呢。上面也说了,先是做了网站地图,然后写在robots上,然后提交到百度站长平台的sitemap地图提交,然后把www.exmple.com/robots.txt 主动提交到百度去。跟着就是更新文章,发布外链。新站来说,靠自然更新,保证原创,高质量外链来说,就算天天更新也需要一定时间,但是第二天我就不管了,看下有什么能刺激下百度,然后我去百度找到个方法,这里分享出来给大家看下:

百度提示处理方式

我是弄的,要做一件事情长时间没有反馈的时候,我选择的是第四部,去百度反馈中心,反馈是因为误操作导致了这种情况发生,写明我的情况,蜘蛛抓取频率的下降,然后说明百度没有抓取我网站内容,但是我是对百度开放的,配上三张截图,都是来源于百度的,这个很重要,证据来源于百度的话可信度会大大的增加。提交反馈之后,原因我还打算加上一个数据主动推送(实时)的,但是百度反馈提醒我两分钟就会有结果,我就耐心等个几分钟吧,结果搜一下品牌词,百度首页第二,然后看下是否有显示描述。直接上图吧:

正常显示结果

虽然百度没有按照他说了两分钟就给我搞定,但是也不长,十分钟的事情吧,还真的搞定了。而且因为网站架构,内容都不错的情况下,更新了快照,然后上线两天的网站既然有了关键词排名,两个词排在百度第三、四页,大大出乎我的意料。

此原创文章由 君之诺情感,首发于A5,转载请注明来源!

申请创业报道,分享创业好点子。点击此处,共同探讨创业新机遇!

相关标签
robots标签
robots

相关文章

  • robots协议怎么写 作用是什么?

    robots协议也叫robots.txt(统一小写)是一种存放于网站根目录下的ASCII编码的文本文件,它通常告诉网络搜索引擎的漫游器(又称网络蜘蛛),此网站中的哪些内容是不应被搜索引擎的漫游器获取的,哪些是可以被漫游器获取的。

    标签:
    robots
  • robots具体应该禁止些什么文件

    今天大概总结一下:首先说明一点:每天百度派出的蜘蛛是有限的,robots写出来是为了节省蜘蛛资源让蜘蛛能更快的进行有效爬取和收录!

  • robots文件编写秘籍 新手必看

    当我们的网站上线之后,一定会有一些不想让百度抓取的页面、文件,针对这种问题,我们就要使用协议去屏蔽。那么这个协议是什么?究竟怎么写这个协议呢?

    标签:
    robots文件
    robots
  • robots.txt文件怎么写才正确呢?

    曾庆平SEO在前面的文章中讲过robots.txt概念的时候,留下一个问题:为什么曾庆平SEO的robots.txt写得那么复杂?曾庆平SEO的robots.txt:http://www.xxx.com/robots.txt这样做的目的是,让搜索引擎看来网站更规范和权威。

  • 百度站长平台检测robots.txt 提示301错误代码 怎么解决

    如果以上都没有错误,那么你就要检查你的CDN了,很可能是因为CDN缓存而造成的,或者是你配置了https,而站长平台却绑定的http,无法访问,这两点自己排查,如果以上都做到,那么是不会提示这类错误的,当然也不排查百度站长平台本身的问题,不过这种机率性很小。

热门排行

信息推荐