当前位置:首页 >  站长 >  建站经验 >  正文

robots文件是否支持中文目录?

 2016-11-02 14:07  来源: 站长学院   我来投稿 撤稿纠错

  域名预订/竞价,好“米”不错过

一个关于robots的问题:我们有个站点的目录结构使用的是中文,这样式儿的:www.a.com/冒险岛/123.html,那在制作robots文件和sitemap文件的时候,可以直接使用中文吗?百度能获取到吗?在实际操作中我们发现,sitemap中有文件是可以生效的,但robots封禁貌似没有反应,所以想确认一下:robots文件是否支持中文?

工程师解答:Baiduspider目前(2016年10月)在robots里是不支持中文的。

同学追问:那我们进行UrlEncode编码会不会支持呢?比如这种:

工程师解答:robots文件支持这种写法。但是否生效,还要取决于当时BaiduSpider抓取的是哪种形式结构的链接,如果是UrlEncode编码就可以生效,如果是中文就非常不幸了。

申请创业报道,分享创业好点子。点击此处,共同探讨创业新机遇!

相关标签
robots
robots文件

相关文章

  • robots协议怎么写 作用是什么?

    robots协议也叫robots.txt(统一小写)是一种存放于网站根目录下的ASCII编码的文本文件,它通常告诉网络搜索引擎的漫游器(又称网络蜘蛛),此网站中的哪些内容是不应被搜索引擎的漫游器获取的,哪些是可以被漫游器获取的。

    标签:
    robots
  • robots具体应该禁止些什么文件

    今天大概总结一下:首先说明一点:每天百度派出的蜘蛛是有限的,robots写出来是为了节省蜘蛛资源让蜘蛛能更快的进行有效爬取和收录!

  • robots文件编写秘籍 新手必看

    当我们的网站上线之后,一定会有一些不想让百度抓取的页面、文件,针对这种问题,我们就要使用协议去屏蔽。那么这个协议是什么?究竟怎么写这个协议呢?

    标签:
    robots文件
    robots
  • robots.txt文件怎么写才正确呢?

    曾庆平SEO在前面的文章中讲过robots.txt概念的时候,留下一个问题:为什么曾庆平SEO的robots.txt写得那么复杂?曾庆平SEO的robots.txt:http://www.xxx.com/robots.txt这样做的目的是,让搜索引擎看来网站更规范和权威。

  • 百度站长平台检测robots.txt 提示301错误代码 怎么解决

    如果以上都没有错误,那么你就要检查你的CDN了,很可能是因为CDN缓存而造成的,或者是你配置了https,而站长平台却绑定的http,无法访问,这两点自己排查,如果以上都做到,那么是不会提示这类错误的,当然也不排查百度站长平台本身的问题,不过这种机率性很小。

热门排行

信息推荐