当前位置:首页 >  站长 >  搜索优化 >  正文

「案例解读」解决网站不收录的必备思路

 2019-03-11 16:02  来源:A5专栏  我来投稿   赵彦刚的个人主页 撤稿纠错

  各种互联网项目,新手可操作,几乎都是0门槛

网站不收录可谓说是老生常谈了,太多SEO从业者有遇到这样的问题而无从下手,导致苦恼万分。我们解决网站不收录的问题前,应该思考一个问题:“让网站收录的影响因素都有哪些呢?”,先弄明白这件事情,然后再去解决收录的问题就会变得很有头绪。

下面我以一个案例的形式针对性的描述下如果一步一步解决网站不收录。

我在刚加入环球网校的时候,他们的网站已经将近1年的时间在百度的收录少之又少。在我去应聘的时候,CEO知道我在SEO方面有些能力,就令我尽快解决网站不收录的问题。

首先,我只是听到公司的人和我说这个网站不收录,那到底是哪里不收录、怎么不收录我完全不清楚,所以我开始了数据整理和问题排查的工作。

将网站按照类型做分类,分为了频道页、列表页、专题页、聚合页以及新闻页5类。然后核技术沟通将这5类URL全部导出给我(新闻页,由于很多考试相关的新闻具有时效性,所以我只导出了30天的数据),然后我按照不同的分类开始收录查询工作。最后收录查询的结果如下:

如上图,我发现公司人员和我反馈的网站不收录,具体的问题是在新闻页。而环球网校的新闻是面向考试的信息发布、资料发布等。是具有一定时效性的文章,按理说这么大的网站应该秒收才对。

于是,我和相关人员要了网站最近7天的网站日志,技术给我的是原始的网站日志,既包含了爬虫数据也包含了用户数据等等,没办法,只能自己清洗一下这些数据了。

SEO清洗网站爬虫日志的流程

1、我先按照user-agent包含baiduspider的进行过滤,只保留包含baiduspider的数据,这样我就拥有了百度爬虫的数据;

2、但百度爬虫数据中,也有很多假爬虫,按照ip反查的思路,我先把所有baiduspider的ip地址拿下来,然后去重;

3、得到600多个不重复的唯一ip地址。我对这些ip地址通过程序批量识别真假爬虫,最后是真爬虫的ip地址有82个;

4、我再在第一步的所有爬虫数据中进行过滤,只保留ip地址为真的百度爬虫的这82个。最后得到的数据就是真的爬虫数据了;

5、我将最近7天内发布的url在这个清洗后的日志中进行查询,最后发现所有的新页面在发布后的1分钟内爬虫都有抓取,可想抓取是多么的及时,并且在第二天、第三天都还会有对这篇文章的抓取。

最终我看到爬虫抓取的行为数据表现很好,应该不是抓取上出了问题。

然而,在我分析日志之前,也和技术、产品、运维同步了一个需求,我需要1年前网站突然开始不收录那个大概时间节点他们各部门都做了什么改动。就在我分析完日志的晚上,技术老大找到我说,他想起来当年是因为网站被攻击,大量注入了很多的垃圾数据后,网站收录才出现异常的。

我可能知道问题就出在这里,但为了更全面的考究问题,我还是让他们按规定把之前做的一些改动同步给我。

第二天早上我就开始围绕网站被攻击的问题与技术进行了彻底的排查,看网站之前被注入的垃圾信息有没有清除干净。最后确认垃圾信息早就彻底清除了,且正确返回了404状态码和404错误页面。

然后我怀疑是不是百度没有修正我们的状态,被攻击的时候开始不收录正常,毕竟检测到了我们网站的风险,那时隔一年还是如此,一定是百度的问题。我通过百度的反馈中心详细的说明了问题的始末,然后百度的技术也在一直排查,我等了有一周时间没见回复,其他部门也把之前的一些调整和改动都给我了,我也确认那时大家的做法没有问题。

于是,我主动联系了百度站长平台的朋友,希望他们能够尽快处理,查明问题。

可最后我得到的结论是百度也没发现什么问题,据说几个部门的技术针对我的问题还各自筛查一遍,没找到问题。好吧,百度的兄弟已经给足了面子,能这么帮咱跟进需求很到位了。还是靠自己,这毕竟是我入职CEO的第一个托付,一定要搞定。

我也找了我们的编辑,询问并且检查文章本身的质量问题,大家和几年前一样,一直按部就班的发着信息,没什么变化。及时性、可读性、需求满足度都可以保证。具体是哪出了问题呢?

我思前想后,会想到问题的本质是开始于网站被攻击开始的,那如果真的是百度没反应过来的话,我就要让百度重新对我的新闻页进行计算,以重新评估这类页面。于是我有了对新闻页改版的念头。

开始与产品沟通,但他们忙,无奈下,我独挑大梁,自己画原型开干了。

通过对页面的重新设计、丰富了内链的链接策略,也增加了很多广告自定义的场景。通过20多天的努力,新的页面上线了。

由于网站每天发布的新闻很多,大约在几百条,所以我写了一个收录查询的程序,每天这个程序都会自动帮我查收录,然后以excel附件的形式发到我的邮箱,我进行查看。

就在新版的新闻页上线的第4天,收录率从之前每天的1~5个,突然有100多个了,收录率之前都是零点零几,现在有40%多了,又过一天82%,再过一天79%,又过一天85%,就这样80%上下持续了一周的时间,到了下周突然达到了97%,而且是秒收的。然后中间也有个别的天是浮动的。但整体都在95%上下。

到这,我认为收录问题彻底解决了,很多编辑的同事也早就知道了这个事情。现在几年过去了,我策划的新闻页仍在,且收录情况一直良好。

下图是我刚查询环球网校最近一天的收录情况:

时间上有10分钟前、15分钟的。由于你也想查一下的话,而且整体数量也在几百条的数量上。

那我们来总结一下当网站不收录后的解决这个问题的思路:

1、锁定网站不收录的是哪类型的页面,就像案例所说,最终我锁定到了新闻页;

2、思考网站不收录的这个时间点内,对网站有改动权限的人都做了什么,这些改动会不会是网站不收录的原因;

3、分析网站的日志,看不收录的那个网站类目是不是有抓取,没抓取就是抓取问题,有抓取就不存在问题;

4、当网站改动上没问题,抓取没问题。就在站长工具反馈中进行详细的反馈;

5、反馈的同时也可以对该类型的模版页面进行适当的调整,例如增加链接入口、增加网页丰富度,新闻页提高原创比例,文章内容的质量程度。

6、要是还不能收录的话,就对当前类型的模版页面进行大改版,重构页面进行尝试。

我从业的公司以及帮助一个企业解决网站不收录问题不下15个了,一直沿用这套思路,本文案例网址:(www.hqwx.com)

作者: 赵彦刚    /    文章:44篇

申请创业报道,分享创业好点子。点击此处,共同探讨创业新机遇!

相关文章

  • seo概念深入的理解

    seo优化重要的三要素之一,其可以理解为网站较为重要的词,网页核心词,用户搜索需求较大的,可以带来转化的目标关键词,一般会在网站首页标题中出现

  • 网站运营和SEO优化如影相随的原因 没有SEO就没有流量

    网站运营这个活,好像关注的人少了,更让人感到失望的时候,SEO优化这个牛叉的技能,没有更多的大神去分享,是SEO过时了吗?无用了吗?有一些事情,你不真正融入进去,是很难看到真相的。

  • SEO同业竞争,如何超越竞争对手?

    每一个行业都存在竞争对手,特别是SEO这个领域,同业竞争显得异常激烈,对于一个新企业站,想要在垂直行业中,崭露头角,从目前来看,显得格外困难。但这并不代表,我们无计可施,所谓知己知彼,我们只有充分的了解竞争对手,才能在SEO同业竞争中,有的放矢。

    标签:
    seo优化技术
  • SEO的门槛到底高不高?

    我面试SEOer的时候,一个面试者曾经对我发起过灵魂拷问,当我问他是否会建站的时候,他带着明显的不屑的语气反问:建站是技术的事儿,我们SEO只负责SEO的工作!

  • Seo关于网站图片的细节处理

    网站图片SEO的优化有两个重要的问题。一是增加搜索引擎可看见的文本描述,二是在保持图像质量的同时尽可能压缩图像的文件大小。准确的步骤可以按照以下三点操作:

  • 百度SEO,你要持之以恒且随机应变! ​

    对于任何一个新站而言,如果你启用的是非老域名,那么,实际上网站上线,是需要有一个信任度累积的过程,简单理解:初期你试图需要让搜索引擎发现网站存在的价值,它在解决什么需求,它的页面体验如何,它的内容输出频率如何,所有的一切都需要时间一点一滴累积。

    标签:
    百度seo
  • SEO网站审查手册,有哪六个必备须知?

    页面加载速度看似老生常谈,但你是否有效的将页面首子节加载速度控制在1.5-3秒之间,是衡量一个网站能否被百度快速收录的前提。

    标签:
    seo优化
  • 详解PBN网站建设外链的秘密

    PBN是英文PrivateBlogNetwork的缩写,中文意思大致是“秘密博客网络”,也就是用WordPress之类的开源博客系统搭建多个网站,形成一个网络,而且号称是秘密的,或者说是搜索引擎检测不出来的网络,然后用这个网络给目标网站建立外链。

    标签:
    网站外链建设
  • 分享网站优化中高质量外链平台的选择

    网站权重本身是对排名好坏的计算结果,而外链是影响排名的一个十分重要的因素。但现如今的外链建设需要注意很多事情,不像2012年或之前那样,外链发布的数量对排名就有着明显的影响。

    标签:
    高质量外链
  • 网站外链推广如何让外链更有效的方法

    众所周知,链接编织成了互联网,搜索引擎的重要成员也就是链接。链接让网站之间产生了联系,因此,推广人员每天都要去为自己的站去做链接,与其他网站产生关联。这里面有一个重要的问题,那就是有效性,精准和相关度成了有效性的一个重要指标,那么如何推广外链,让外链更有效呢?

  • 5分钟学会22种网站SEO常规外链建设方法

    分钟教会你22个网站SEO常规外链建设方法,做外链其实很容易!

    标签:
    外链建设方法
  • 网站优化关键词定义与密度衡量标准

    关键词可以粗略等同于网页的定位,通过关键词的设计,对网页进行定位,再传达定位信息给搜索引擎,吸引相关的搜索客户到达页面。关键词的设置在网站当中是不可缺少的。

    标签:
    关键词密度
  • 百度SEO关键词优化方法6点总结

    SEO优化是有技巧的,包括关键词的选择、关键词的部署及调整等等,这方面还需要大家多花点时间去摸索,只要掌握了技巧就不怕网站多么的不好也会优化好的。

    标签:
    百度seo关键词
  • 2019最全关键词挖掘方法

    在做网络推广的过程中,很多场合都需要用关键词。一个词的好坏将直接影响最后的流量效果。和词语最相关的推广方法有:SEO、PPC、ASO、微信搜索营销等等,近期很多信息流广告也开始使用关键词定位人群,所以关键词几乎成了所有引流场景最重要的组成部分。

    标签:
    关键词挖掘
  • 网站SEO优化关键词方法

    企业做SEO优化主要就是做关键字优化,只要把关键词的排行送上去就是SEO优化的目标,关键词深圳SEO优化的方法有很多,下面深圳市壹起航网给大家介绍深圳SEO关键词优化的方法。

    标签:
    关键词seo优化
榜单

热门排行

信息推荐

扫一扫关注最新创业资讯