当前位置:首页 >  站长 >  搜索优化 >  正文

教你robots.txt设置方法技巧

 2015-03-16 16:20  来源: 互联网   我来投稿   贺贵江的个人主页 撤稿纠错

  短视频,自媒体,达人种草一站服务

在SEO优化网站当中,做好robots.txt至关重要因为每个搜索引擎抓取网站信息第一步就是爬去robots.txt文件来引导搜索引擎爬取;合理的使用robots文件能够更好的集中网站的权重,避免一些不想被搜索引擎查看的文件抓取,是非常必要的一种SEO手段,但是好多做seo的朋友对于robots的文件使用不是特别了解,仅仅知道Disallow是禁止,allow是允许,以及一些常用的搜索引擎的访问禁止写法,对于在复杂的一些不知道如何去写,其实本人开始也对于robots不知道如何着手去写,但是随着做seo时间推移,以及经验的丰富,笔者总结出了一套自己设置robots的方法,首先为大家介绍在robots设置当中需要注意的一些事项:

1、作为搜索引擎最先访问的目录,过长的robots文件也会影响蜘蛛的爬取速度,所以对于禁止搜索引擎的网页,可以适度的去使用noffollow标记,使其不对该网站传递权重。

2、对于Disallow和Allow的设置是有先后顺序之分的,搜索引擎会根据第一个匹配成功的Allow与Disallow来确定首先访问那个url地址。

3、在robots设置当中关于Disallow当中/和//的区别。在robots文件设置当中,Disallow:/abc是禁止访问abc.html和/abc/123.html等文件,而对于disallow:/abc/来说,是允许对于/abc.html进行访问,但是对于/abc/123.html是进行禁止的。

4、在robots设置当中“*”和“$”的设置,其中”$” 匹配行结束符。”*” 匹配0或多个任意字符。

好了掌握了这些知识,你可能会说我还是不知道如何去设置robots文件,那么该怎么办呢?

首先,确定你需要禁止的内容,然后注册谷歌管理员工具,通过搜索引擎查找你想禁止内容的写法,然后登陆百度管理员工具,选择网站配置>抓取工具的权限>测试robots.txt把你想要禁止内容的语法填入文本框当中,然后点击下面进行测试,会出现测试的结果,如果有错误,根据错误提示在进行相应的修改就可以了。

申请创业报道,分享创业好点子。点击此处,共同探讨创业新机遇!

相关标签
robots.txt技巧

相关文章

  • 看完秒懂robots.txt写法和注意事项

    robots.txt直接放在网站根目录下,是蜘蛛访问网站时,第一个抓取的文件。robots.txt是告诉蜘蛛网站的哪些文件允许抓取,哪些文件不允许抓取,甚至可以指定特定的蜘蛛能不能抓取特定的文件。没有抓取就没有收录,没有收录就没有排名。所以作为第一蜘蛛访问的文件,写好robots.txt是很重要的。

  • 解除网站Robots封禁全过程

    obots协议或者说robots文件对搜索引擎优化中非常重要,但设置出错可能会导致收录下降或不能正常收录。今天,小小课堂SEO自学网带来的是《【robots文件协议】解除Robots封禁全过程》。希望本次的百度SEO优化培训对大家有所帮助。

  • robots协议对网站、搜索引擎的重要性

    很多站长最头疼的一个问题就是,搜索引擎蜘蛛为什么不光顾自己的网站,或者光顾频率比较低。这样对网站收录的影响是比较大的,直接影响到网站的排名。先谈一下搜索引擎蜘蛛的工作原理吧,蜘蛛又称网络爬虫、网页蜘蛛、网络机器人,更生动的叫网页追逐者。一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。另外一些

    标签:
    robots.txt技巧
  • 不管你是新站还是老站,都不能忽略的5点细节

    在网站的优化的时候对于一些细小的方面,往往容易忽略。不管是新站还是老站都应该注意这个问题。小细节存在大影响,概括起来,这些细节主要分为以下几个方面:1、关键词库揣测用户搜索需求,用户会通过什么词来实现需要的搜索内容这个词由SEO人研究与挖掘,并围绕这个词优化网站,这个词,就叫做关键词。关键词库,就是

  • SEO权重与网站的关系 如何提升

    首先必须要清楚,国内主流搜索引擎“百度”的权重(Weight)是由第三方根据关键词排名及相关客观因素进行评估所得,官方并不承认此项评价数据的有效性。而且它与排名、收录速度和成功率没有直接联系,因为在收录是独立的另一套算法,其收录速度受到备案情况和提交方式影响,成功率则是受到内容质量。

  • SEO:如何提高网站权重?浅析网站权重优化的6个方面

    初期,建站期间要选择适用于SEO要求的开发模式,使用好内容优势,如发布行业干货、商业软文吸引目标受众加速积累效率,且保证内容质量和更新频率能按照计划稳定推进。

  • 网站权重是什么,优化策略是什么!

    关于什么是网站权重,这个问题很大新手seo优化人员其实都不太明白,这个权重到底是指的爱站网显示的网站权重或者是站长工具显示的权重还是百度官方认定的权重,在这里南帝seo要说明的是官方从来没有说有百度权重一说,网站权重只是一些站长平台机构自己划分的或者是指定的。

    标签:
    网站权重
榜单

热门排行

信息推荐

扫一扫关注最新创业资讯