当前位置:首页 >  站长 >  搜索优化 >  正文

robots.txt文件怎么写才正确呢?

 2020-11-24 11:09  来源: A5专栏   我来投稿   曾庆平SEO的个人主页 撤稿纠错

  短视频,自媒体,达人种草一站服务

曾庆平SEO在前面的文章中讲过robots.txt概念的时候,留下一个问题:为什么曾庆平SEO的robots.txt写得那么复杂?

曾庆平SEO的robots.txt:http://www.***seo.com/robots.txt 这样做的目的是,让搜索引擎看来网站更规范和权威。

1、用robots.txt屏蔽相似的页面或没内容的页面。

我们知道,搜索引擎收录网页后,会对网页进行“审核”,当网页的相似度很高时2个页面,搜索引擎会删除其中一个。

假如以下这两个链接,内容其实差不多,所以第一个链接应该屏蔽。 http://www.xxx.com/bbs/redirect.php?tid=5167&goto=lastpost#lastposthttp://www.xxx.com/bbs/thread-5167-1-1.html

第一个的链接非常多,屏蔽时,只要屏蔽/bbs/redirect.php? 就屏蔽了所有的。代码如:Disallow: /bbs/redirect.php?

类似这样的页面,没有内容,也应该屏蔽:http://www.xxx.com/index.php?sid=247304&lang=zh&action=writecomment&id=77&artlang=zh 这样的链接也很多,屏蔽时,只要屏蔽/index.php?sid= 就屏蔽了所有的。

代码如:Disallow: /index.php?sid=

2、用robots.txt屏蔽多余的链接,当动态和静态共存时,一般去掉动态的。

网站中经常会存在多个链接指向同一个页面,这种情况普遍存在时,会让搜索引擎对网站的权威性产生怀疑。通过robots.txt把非主要的链接去掉。

假如以下两个链接指向同样的页面,去掉次要的第一个。

http://www.xxx.com/space.php?username=曾庆平seo

http://www.xxx.com/space-uid-15.html

代码如:Disallow: /space.php?username=

特别需要注意的是,首页一般有这么几个链接:www.yongfengseo.com www.yongfengseo.com/index.html 等,这个时候,不要屏蔽 index.html。因为如index.html index.php 等是默认首页,屏蔽可能导致蜘蛛爬取错乱。

咱们需要做的是,在给首页做站内外链接时,统一用不带index.html 的http://www.yongfengseo.com/ 即可。这是URL标准化的概念。

3、用robots.txt屏蔽死链接。

死链接就是原来存在,后来因为改版或更新等缘故删除了的链接和网页。比如,原来在某个目录(假设目录为/tempweb/)下的所有链接,因为改版现在都变为死链接了,可以用robots.txt屏蔽。

代码如:Disallow: /tempweb/

4、用robots.txt屏蔽可能存在的“被K”外部链接。

很多网站允许用户放自己的网站链接,但因为过多的“被K”外部链接可能连累自己。所以,很多把所有外部链接放入一个链接目录下,然后通过robots.txt统一屏蔽。

如果你对Disallow:的具体操作办法不是很清楚,你可以从这里了解我之前发布的robots文章。

本文来自微信公众号:平哥SEO优化(qingpingseo) 原文链接:http://www.yongfengseo.com

申请创业报道,分享创业好点子。点击此处,共同探讨创业新机遇!

作者: 曾庆平SEO    /    文章:17篇

相关文章

  • robots具体应该禁止些什么文件

    今天大概总结一下:首先说明一点:每天百度派出的蜘蛛是有限的,robots写出来是为了节省蜘蛛资源让蜘蛛能更快的进行有效爬取和收录!

  • robots文件编写秘籍 新手必看

    当我们的网站上线之后,一定会有一些不想让百度抓取的页面、文件,针对这种问题,我们就要使用协议去屏蔽。那么这个协议是什么?究竟怎么写这个协议呢?

    标签:
    robots文件
    robots
  • 百度站长平台检测robots.txt 提示301错误代码 怎么解决

    如果以上都没有错误,那么你就要检查你的CDN了,很可能是因为CDN缓存而造成的,或者是你配置了https,而站长平台却绑定的http,无法访问,这两点自己排查,如果以上都做到,那么是不会提示这类错误的,当然也不排查百度站长平台本身的问题,不过这种机率性很小。

  • 网站robots文件没做好带来的影响不可小视

    网站优化过程非常容易忽视的一个就是robots文件,因为如果网站彻底不做robots文件好像也没有多大影响,但不做好这个文件,引起的问题可不能小视。

    标签:
    robots文件
    robots
  • 你不知道的robots文件那些事

    实际上百度只是担心由于网站管理员不懂得robots.txt语法,导致搜索引擎蜘蛛无法正常抓取网站,才这样写的。建立robots.txt文件还是必需的,哪怕这个robots.txt文件是一个空白的文本文档都可以。因为我们的网站毕竟不是仅仅会被百度收录,同时也会被其他搜索引擎收录,上传一个空白的robo

    标签:
    robots标签
    robots

热门排行

信息推荐

扫一扫关注最新创业资讯