当前位置:首页 >  站长 >  搜索优化 >  正文

教你robots.txt设置方法技巧

 2015-03-16 16:20  来源:互联网  我来投稿

  各种互联网项目,新手可操作,几乎都是0门槛

在SEO优化网站当中,做好robots.txt至关重要因为每个搜索引擎抓取网站信息第一步就是爬去robots.txt文件来引导搜索引擎爬取;合理的使用robots文件能够更好的集中网站的权重,避免一些不想被搜索引擎查看的文件抓取,是非常必要的一种SEO手段,但是好多做seo的朋友对于robots的文件使用不是特别了解,仅仅知道Disallow是禁止,allow是允许,以及一些常用的搜索引擎的访问禁止写法,对于在复杂的一些不知道如何去写,其实本人开始也对于robots不知道如何着手去写,但是随着做seo时间推移,以及经验的丰富,笔者总结出了一套自己设置robots的方法,首先为大家介绍在robots设置当中需要注意的一些事项:

1、作为搜索引擎最先访问的目录,过长的robots文件也会影响蜘蛛的爬取速度,所以对于禁止搜索引擎的网页,可以适度的去使用noffollow标记,使其不对该网站传递权重。

2、对于Disallow和Allow的设置是有先后顺序之分的,搜索引擎会根据第一个匹配成功的Allow与Disallow来确定首先访问那个url地址。

3、在robots设置当中关于Disallow当中/和//的区别。在robots文件设置当中,Disallow:/abc是禁止访问abc.html和/abc/123.html等文件,而对于disallow:/abc/来说,是允许对于/abc.html进行访问,但是对于/abc/123.html是进行禁止的。

4、在robots设置当中“*”和“$”的设置,其中”$” 匹配行结束符。”*” 匹配0或多个任意字符。

好了掌握了这些知识,你可能会说我还是不知道如何去设置robots文件,那么该怎么办呢?

首先,确定你需要禁止的内容,然后注册谷歌管理员工具,通过搜索引擎查找你想禁止内容的写法,然后登陆百度管理员工具,选择网站配置>抓取工具的权限>测试robots.txt把你想要禁止内容的语法填入文本框当中,然后点击下面进行测试,会出现测试的结果,如果有错误,根据错误提示在进行相应的修改就可以了。

责任编辑:贺贵江

相关标签
robots.txt技巧

申请创业报道,分享创业好点子。点击此处,共同探讨创业新机遇!

相关文章

  • 看完秒懂robots.txt写法和注意事项

    robots.txt直接放在网站根目录下,是蜘蛛访问网站时,第一个抓取的文件。robots.txt是告诉蜘蛛网站的哪些文件允许抓取,哪些文件不允许抓取,甚至可以指定特定的蜘蛛能不能抓取特定的文件。没有抓取就没有收录,没有收录就没有排名。所以作为第一蜘蛛访问的文件,写好robots.txt是很重要的。

  • 解除网站Robots封禁全过程

    obots协议或者说robots文件对搜索引擎优化中非常重要,但设置出错可能会导致收录下降或不能正常收录。今天,小小课堂SEO自学网带来的是《【robots文件协议】解除Robots封禁全过程》。希望本次的百度SEO优化培训对大家有所帮助。

  • robots协议对网站、搜索引擎的重要性

    很多站长最头疼的一个问题就是,搜索引擎蜘蛛为什么不光顾自己的网站,或者光顾频率比较低。这样对网站收录的影响是比较大的,直接影响到网站的排名。先谈一下搜索引擎蜘蛛的工作原理吧,蜘蛛又称网络爬虫、网页蜘蛛、网络机器人,更生动的叫网页追逐者。一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。另外一些

    标签:
    robots.txt技巧
  • 新手seo该如何提升关键词排名?

    一个网站的流量主要来源于直接访问,搜索引擎和外部链接这三种方式,一个网站最主要的流量来源于各种排名非常好的目标关键词,如果关键词没有排名一切皆无。那么哪些因素会影响关键词在搜索引擎上的自然搜索排名呢,这是大部分新手seoer最为头疼的问题。

  • 平头哥SEO讲述网站优化排名的技巧

    为什么同样选择的平头哥SEO公司提供的网站,一样的网页设计公司,一样的网站程序,为什么你的排名会那么差,他的排名确那么好?为什么你的网站做了很久的优化工作,排名一直在50名以后,平头哥SEO告诉你,网站排名需要进行优化,而优化需要SEO优化技巧。

  • SEO优化中查询检索词与加#搜索的操作方法

    最近看见一篇在讲查询词,检索词的文章,平头哥SEO也有这样的亲身实践经历。其实查询词与检索词在我们互联网日常生活中,经常被使用到。但是,大多数的人都没有很好的去了解查询词和检索词,被他们一贯认为成是寻找词。

  • 小程序SEO优化分析

    小程序与公众号一样,名称具有唯一性,谁先注册,谁先使用,后面的人就无法再使用这个名称的了。并且认证后得到的推荐权重也相对靠前。根据用户的搜索习惯和产品特性,尽可能多的注册小程序名称,更有可能被用户搜索到。我们要做的就是优化小程序标题。

  • 电子商务关键词优化方法有哪些?

    如何有效地开展电子商务关键词研究,关键词研究是每个SEO策略的基础。做得好,它为您应该优化的内容类型提供方向。另一方面,具有糟糕执行策略的优秀关键词无法帮助您在电子商务商店中进行销售。

  • 百度权重下降是什么原因?网站降权怎么恢复?

    百度已经非常善于识别用于搜索引擎优化目的的链接。因此,远离链接购买。如果您认为自己受到算法更新的影响,请尝试将流量细分为仅显示百度流量,然后查找与已知算法更改相符的明显下降。

  • SEO培训开发工程师对网站优化的影响

    SEO可以做些5件事来改善他们与开发者的关系,虽然我们花时间争论我们认为最新的百度算法更新所关注的内容,或者在页面上包含多少单词或链接,但我们忽略了当今行业中最紧迫的问题之一:

    标签:
    seo优化技术
  • 怎么才能做好熊掌号推广?

    不管是站长还是自媒体人,业内谈论得多的,非熊掌号莫属了。去年11月份熊掌号正式上线,到现在刚好一年的时间,有很多人已经开始了运营熊掌号,但是还有很多的人还在犹豫中,不管是已经上手的还是没有正式加入熊掌号运营行列的,肯定对于怎样运营好熊掌号都是有疑惑的,今天准哥就谈谈自己对于运营熊掌号几点浅见。

  • 如何提升熊掌号收录和排名

    最近统计了一下群里主要讨论的问题还是收录和排名的问题,这个问题也算是我之前说过了,还是有一些朋友没有了解到,今天在来给不明白的朋友们讲的更细致一点。首先我们先来明确一下现在排名等于什么,排名=熊掌号运营指数+SEO技术

    标签:
    熊掌号排名
  • 熊掌号指数2.0的三种快速提升技巧

    熊掌号指数2.0主要由内容价值分、用户价值分和平台任务分三部分组成,能够帮助你更有效地进行熊掌号运营。指数分越高,代表熊掌号的质量越优质。

    标签:
    熊掌号指数
榜单

热门排行

信息推荐

扫一扫关注最新创业资讯