当前位置:首页 >  站长 >  搜索优化 >  正文

SEO案例:浅析爬虫的不重复抓取策略

 2015-03-31 17:51  来源:A5专栏  我来投稿   赵彦刚的个人主页 撤稿纠错

  短视频,自媒体,达人种草一站服务

不重复抓取?有很多初学者可能会觉得。爬虫不是有深度优先和广度优先两种抓取策略吗?你这怎么又多出来一个不重复抓取策略呢?其实我这几天有不止一次听到了有人说要在不同页面增加同一页面链接,才能保证收录。我想真能保证吗?涉及收录问题的不止是抓没抓吧?也从而延伸出今天的这篇文章,不重复抓取策略,以说明在一定时间内的爬虫抓取是有这样规则的,当然还有很多其他的规则策略,以后有机会再说,例如优先抓取策略、网页重访策略等等。

回归正题,不重复抓取,就需要去判断是否重复。那么就需要记住之前的抓取行为,我们举一个简单的例子。你在我的QQ群(9060800)里看到我发了一个URL链接,然后你是先看到了我发的这个链接,然后才会点击并在浏览器打开看到具体内容。这个等于爬虫看到了后才会进行抓取。那怎么记录呢?我们下面看一张图:

不重复

 

如上图,假设这是一个网页上所有的链接,当爬虫爬取这个页面的链接时就全部发现了。当然爬取(理解为发现链接)与抓取(理解为抓取网页)是同步进行的。一个发现了就告诉了另外一个,然后前面的继续爬,后面的继续抓。抓取完了就存起来,并标记上,如上图,我们发现第2条记录和第6条记录是重复的。那么当爬虫抓取第二条后,又爬取到了第6条就发现这条信息已经抓取过了,那么就不再抓取了。爬虫不是尽可能抓更多的东西吗?为什么还要判断重复的呢?

其实,我们可以想一下。互联网有多少网站又有多少网页呢?赵彦刚是真没查证过,但这个量级应该大的惊人了。而本身搜索引擎的爬取和抓取都是需要执行一段代码或一个函数。执行一次就代表着要耗费一丁点资源。如果抓取的重复量级达到百亿级别又会让爬虫做多少的无用功?耗费搜索引擎多大的成本?这成本就是钱,降低成本就是减少支出。当然不重复抓取不光体现在这里,但这个是最显而易见的。你要知道的就是类似于内容详情页的热门推荐、相关文章、随机推荐、最新文章的重复度有多大?是不是所有页面都一样?如果都一样,那么可以适当调整下,在不影响网站本身的用户体验前提下,去适当做一些调整。毕竟网站是给用户看的,搜索引擎只是获取流量的一个重要入口,一种营销较为重要的途径!

作者: 赵彦刚    /    文章:44篇

申请创业报道,分享创业好点子。点击此处,共同探讨创业新机遇!

相关文章

  • seo概念深入的理解

    seo优化重要的三要素之一,其可以理解为网站较为重要的词,网页核心词,用户搜索需求较大的,可以带来转化的目标关键词,一般会在网站首页标题中出现

  • 对于新手学seo优化,就是每天写文章发外链吗?

    一些初学seo总认为seo就是每天发帖子,写文章,发外链?然而真实情况远远不是所想象的这么简单,如果一个站每天写文章发外链就能把数据做得极好,那么seo未免也显得过于简单了。

    标签:
    seo优化
  • 网站的栏目如何做seo优化

    今天的网站优化是帮助企业从互联网平台获得客户的一种方式。在网站优化过程中,需要优化大量的细节,这些细节也决定了网站关键词的排名,这与今天的每个人都有联系。该网站优化了如何优化列页面以及要注意的问题。

  • 分享几个技巧让你的网站收录排名上升

    搜索引擎的价值在于为用户提供方便快捷。准确的网络信息服务、目的和内容价值。随着网络搜索引擎优化的高度融入,其网站权重将不断增加,导致你的网站访客数量的增加或你网站内容的分享也会随之增加。

  • 新站做seo优化常犯的错误!

    选择过错的关键词,流量过低的关键词,优化得再完美,也杯水车薪,而重视度很高的关键词,就算排在第二页,也会带来很不错的流量。

    标签:
    seo优化
  • 网站每个页面的标题需要如何进行SEO优化

    一个完整的网站不仅仅只有一个首页,而是由栏目页、文章页、产品页等各类页面组合而成的,当我们进行SEO优化时,为了让网站能有更多的流量来源,对于内页也要进行一定的优化处理。

    标签:
    seo优化
  • 选好关键词,务必遵循这5大原则

    在SEO工作中,如果把网站比作是一篇优秀的文章,那么关键词就是组成文章内容的重要字词。所以,在选择关键词时,一定要做到尽善尽美。接下来就详细介绍一下关键词的选择原则。

  • 网站优化9大策略

    搜索引擎蜘蛛是无法抓取框架页的。通过noframe标签,将指向frame页的链接或带关键词的描述文本包含在框架页中,就可以实现对框架页的优化。

    标签:
    网站优化
  • A5营销:这一年,我的网站流量去哪了?未来怎么做

    前两年很多站长问我,贺老师现在什么站最好做呢?我推荐他们选择一个可以细分下来的B2B领域来做,比如:LED灯具,安防设备、电工器材等。因为无论如何,企业的需求,是永远不会变的。但是现在如果有人问我,我不会再向他们做同样的推荐。

    标签:
    seo优化
    a5营销
榜单

热门排行

信息推荐

扫一扫关注最新创业资讯