当前位置:首页 >  站长 >  搜索优化 >  正文

网站robots文件没做好带来的影响不可小视

 2019-10-12 17:22  来源:A5用户投稿  我来投稿   zz_1992的个人主页 撤稿纠错

  各种互联网项目,新手可操作,几乎都是0门槛

网站优化过程非常容易忽视的一个就是robots文件,因为如果网站彻底不做robots文件好像也没有多大影响,但不做好这个文件,引起的问题可不能小视。

什么是robots文件?简单的说就是告诉搜索引擎哪些是你能抓取的哪些是你不能碰的,哪个蜘蛛可以进来哪个不能进来,做好了robots文件有以下几点好处:节省服务器资源,避免不必要的抓取;像有客户资料的私密信息不会泄露;让蜘蛛爬取的更加顺利方便,增加搜索引擎的友好度等等。

一、robots文件看法

想要看别人网站的robots文件,直接在网址栏输入:http://www.域名.com/robots.txt,比如你想看A5的robots文件就可以输入:https://www.admin5.com/robots.txt

二、robots文件写法

这个在网上有大量的教程,本人的表达能力也比较欠佳,就不再赘述了。建议还是参照百度站长平台的资讯更加简单易懂一点。

三、如果robots文件出现了问题导致网站数据出现严重问题怎么办

robots文件对于稍稍有点规模的网站都是不可或缺的,很多不必要的搜索引擎的蜘蛛那就没有必要让它们爬取来占取资源,这时靠robots封禁,如果网站出现了严重的数据波动,比如收录索引全部掉完,排名全部下降,若网站没有出现其他问题正常优化的情况下,首先就要检查robots文件,这时也不要慌,笔者整理了方法,供大家参考使用。

1.修改Robots封禁为允许,然后到百度站长后台检测并更新Robots。

2.在百度站长后台抓取检测,此时显示抓取失败,没关系,多点击抓取几次,触发蜘蛛抓取站点。

3.在百度站长后台抓取频次,申请抓取频次上调。

4.百度反馈中心,反馈是因为误操作导致了这种情况的发生。

5.百度站长后台链接提交处,设置数据主动推送(实时)。

6.更新sitemap网站地图,重新提交百度,每天手工提交一次。

以上处理完,接下来就是等待了,基本5天内就能回到正常状态!在最后笔者还是建议大家要好好做好网站的robots文件,因为好处是有目共睹的,放在根目录下就可以了,当然,还可以在robots文件中放上网站的sitemap,对蜘蛛的爬取很有好处。

笔者:在职考研招生信息网www.eduzzyjs.com,转载请附上链接

友情提示:A5官方SEO服务,为您提供权威网站优化解决方案,快速解决网站流量异常,排名异常,网站排名无法突破瓶颈等服务:http://www.admin5.cn/seo/zhenduan/

作者: zz_1992    /    文章:14篇

相关标签
robots文件

申请创业报道,分享创业好点子。点击此处,共同探讨创业新机遇!

相关文章

  • 网站关键词排名,容易忽略的6个错误

    在做SEO的过程中,针对网站关键词排名,做一些基础的关键词研究,是一个必经的过程,但有的时候,我们确总是在一些小的问题上,阴差阳错的采用偏离轨道的策略。

  • SEO人员,如何与恶意“蜘蛛”暗度陈仓?

    在做SEO的过程中,你是否遇到这样一种问题:服务器访问CPU使用率几乎100%,而且页面加载速度特别慢,貌似被DDOS攻击一样。经过一番审查才发现原来自己的目标网站被大量不相关的“爬虫”频繁的抓取,这对于一个小网站来讲,可能是灭顶之灾。

    标签:
    seo优化
  • 百度搜索竞价推广操作白皮书

    竞价付费推广一直是网站获取精准流量的重要来源,目前市场主流的四大搜索引擎,百度,搜狗,神马,360,依次排列,百度依然是行业老大哥。搜索竞价推广我们可以诠释为:以投放关键词并出价在搜索引擎上竞争排名给网站获取流量的一种推广方式;官方简称(按点击付费的一种广告形式)。

  • 被搜索引擎K过的网站,排名还能够恢复吗

    随着搜索引擎算法不断地调整,有些网站的优化方式不符合当下搜索引擎算法机制,或者是网站经过违规的操作,从而导致网站被搜索引擎降权或者是K站,从而导致网站的排名一落千丈。那么被搜索引擎K过的网站,排名还能够恢复吗?

榜单

热门排行

信息推荐

扫一扫关注最新创业资讯