当前位置:首页 >  站长 >  搜索优化 >  正文

解除网站Robots封禁全过程

 2018-11-14 21:11  来源: 用户投稿   我来投稿 撤稿纠错

  【推荐】海外独服/站群服务器/高防

robots协议或者说robots文件对搜索引擎优化中非常重要,但设置出错可能会导致收录下降或不能正常收录。今天,小小课堂SEO自学网带来的是《【robots文件协议】解除Robots封禁全过程》。希望本次的百度SEO优化培训对大家有所帮助。

一、robots被封禁的问题来源

小小课堂SEO自学网为WordPress博客,前几天弄了个“SEO问答”的栏目,是由一个新的CMS系统创建而成的,而这个系统是动态URL,未做伪静态处理。

SEO问答首页的URL:https://www.***.org/ask/

SEO问答栏目的URL:https://www.***.org/ask/?expert/default.html

SEO问答文章列表的URL:https://www.***.org/ask/?c-1.html

SEO问答文章的URL:https://www.***.org/ask/?q-176.html

从上可以看出除了SEO问答首页,其余的都是带问号的,然而,WordPress根目录的robots.txt中包含了以下一条:

Disallow: /*?*

因为这一条的意思是禁止访问网站中所有包含问号(?) 的网址,所以上面的那些带问号的URL就被禁止搜索引擎抓取了。

二、解除Robots封禁全过程

小小课堂SEO自学网解除robots文件协议的全过程如下:

① 去掉robots禁止抓取的规则

也就是去掉Disallow: /*?* 。

② 抓取失败

进入百度站长后台后,点击“数据监控”>“抓取诊断”>输入网址后面的部分,最后点击抓取。

③ 点击“抓取失败”

通过下图可以看出“抓取异常信息:Robots封禁”,点击“网站IP:106.***.***.217”后面的“报错”。略等一会即可。

④ Robots检测并更新

点击检测并更新robots。

以上就是小小课堂SEO自学网带来的是《【robots文件协议】解除Robots封禁全过程》。感谢您的观看。网络营销培训认准小小课堂!SEO培训认准小小课堂!更多seo教程搜索小小课堂。原创文章欢迎转载并保留版权:https://www.xxkt.org/

申请创业报道,分享创业好点子。点击此处,共同探讨创业新机遇!

相关文章

  • robots协议怎么写 作用是什么?

    robots协议也叫robots.txt(统一小写)是一种存放于网站根目录下的ASCII编码的文本文件,它通常告诉网络搜索引擎的漫游器(又称网络蜘蛛),此网站中的哪些内容是不应被搜索引擎的漫游器获取的,哪些是可以被漫游器获取的。

    标签:
    robots
  • robots具体应该禁止些什么文件

    今天大概总结一下:首先说明一点:每天百度派出的蜘蛛是有限的,robots写出来是为了节省蜘蛛资源让蜘蛛能更快的进行有效爬取和收录!

  • robots文件编写秘籍 新手必看

    当我们的网站上线之后,一定会有一些不想让百度抓取的页面、文件,针对这种问题,我们就要使用协议去屏蔽。那么这个协议是什么?究竟怎么写这个协议呢?

    标签:
    robots文件
    robots
  • robots.txt文件怎么写才正确呢?

    曾庆平SEO在前面的文章中讲过robots.txt概念的时候,留下一个问题:为什么曾庆平SEO的robots.txt写得那么复杂?曾庆平SEO的robots.txt:http://www.xxx.com/robots.txt这样做的目的是,让搜索引擎看来网站更规范和权威。

  • 百度站长平台检测robots.txt 提示301错误代码 怎么解决

    如果以上都没有错误,那么你就要检查你的CDN了,很可能是因为CDN缓存而造成的,或者是你配置了https,而站长平台却绑定的http,无法访问,这两点自己排查,如果以上都做到,那么是不会提示这类错误的,当然也不排查百度站长平台本身的问题,不过这种机率性很小。

热门排行

信息推荐