当前位置:首页 >  站长 >  搜索优化 >  正文

SEO案例:浅析爬虫的不重复抓取策略

 2015-03-31 17:51  来源:赵彦刚  我来投稿

  各种互联网项目,新手可操作,几乎都是0门槛

不重复抓取?有很多初学者可能会觉得。爬虫不是有深度优先和广度优先两种抓取策略吗?你这怎么又多出来一个不重复抓取策略呢?其实我这几天有不止一次听到了有人说要在不同页面增加同一页面链接,才能保证收录。我想真能保证吗?涉及收录问题的不止是抓没抓吧?也从而延伸出今天的这篇文章,不重复抓取策略,以说明在一定时间内的爬虫抓取是有这样规则的,当然还有很多其他的规则策略,以后有机会再说,例如优先抓取策略、网页重访策略等等。

回归正题,不重复抓取,就需要去判断是否重复。那么就需要记住之前的抓取行为,我们举一个简单的例子。你在我的QQ群(9060800)里看到我发了一个URL链接,然后你是先看到了我发的这个链接,然后才会点击并在浏览器打开看到具体内容。这个等于爬虫看到了后才会进行抓取。那怎么记录呢?我们下面看一张图:

不重复

 

如上图,假设这是一个网页上所有的链接,当爬虫爬取这个页面的链接时就全部发现了。当然爬取(理解为发现链接)与抓取(理解为抓取网页)是同步进行的。一个发现了就告诉了另外一个,然后前面的继续爬,后面的继续抓。抓取完了就存起来,并标记上,如上图,我们发现第2条记录和第6条记录是重复的。那么当爬虫抓取第二条后,又爬取到了第6条就发现这条信息已经抓取过了,那么就不再抓取了。爬虫不是尽可能抓更多的东西吗?为什么还要判断重复的呢?

其实,我们可以想一下。互联网有多少网站又有多少网页呢?赵彦刚是真没查证过,但这个量级应该大的惊人了。而本身搜索引擎的爬取和抓取都是需要执行一段代码或一个函数。执行一次就代表着要耗费一丁点资源。如果抓取的重复量级达到百亿级别又会让爬虫做多少的无用功?耗费搜索引擎多大的成本?这成本就是钱,降低成本就是减少支出。当然不重复抓取不光体现在这里,但这个是最显而易见的。你要知道的就是类似于内容详情页的热门推荐、相关文章、随机推荐、最新文章的重复度有多大?是不是所有页面都一样?如果都一样,那么可以适当调整下,在不影响网站本身的用户体验前提下,去适当做一些调整。毕竟网站是给用户看的,搜索引擎只是获取流量的一个重要入口,一种营销较为重要的途径!

责任编辑:扬扬   /   作者:赵彦刚

申请创业报道,分享创业好点子。点击此处,共同探讨创业新机遇!

相关文章

  • 告诉你如何快速了解SEO

    前3-6个月收录暴涨,当达到50-100条收录的时候,恭喜男生已经成功的通过未来岳父岳母的审核期了,但是通过审核期也不能粗心大意,还得继续表现,毕竟女孩子追求者很多,这时候未来岳父岳母就会拿你和其他追求者作比较,假如在众多追求者里,你是最优秀的那个,你就通过审核了。

    标签:
    seo优化
  • 四个注意点告诉你外链应该如何正确的去seo

    很多站长在发布外链的过程中只发布网站首页地址,但其实这样的做法并不是很好的。一味的只发单一页面和裸链,效果要比起锚文本和多页面外链差的很远,并且我们在做外链的时候,尽可能的发布一些文章页和栏目的关键词链接。

    标签:
    seo外链
  • 什么样的外链才是对官网有价值的外链?

    发布外链也是要根据自己的行业来进行发布的,因为只有这样才能够让我们的网站外链的相关性密度比较高,这样的外链才是真正有价值的。

  • 逆袭大讲堂:SEO外链深度解析

    外链只是提高网站权重、排名的其中一个环节,并不是说单纯的外链数量多了,排名就能上去,还要看结构、内容等等。同样,单一的外链种类也是我不提倡的,外链的多元化,才是提升网站权重的核心。

  • 高质量的外链是如何练成的?

    高质量的外链是一个探索和坚持的过程,一个名人如果一段时间内没有新闻,那么可能就会被更有名的人所取代,一个普通的网站,如果不一直做外链,不断追求高质量的外链,很快就会被竞争对手吞没。只要网站存在一天,外链建设不能停,这就是互联网的宿命,也是网站优化的无奈!

    标签:
    seo外链
  • 网站外链一个顶十个 网站优化如何做好一个高质量的外链

    在搜索引擎时代,百度占领百分之八十以上的流量入口时,网站通过SEO优化来刷存在感,而自媒体时代,人人都是自媒体的时候,网站就要开自媒体号,公众号来刷存在感,而这些何尝不是外链的一种表现模式呢?

  • 5个让外链更容易被收录的方法

    你转载10篇文章的效果说不定还不如你原创一篇的效果好,除非你是转载到高权重媒体。进行适当的伪原创也是增加文章收录的一个重要方法,毕竟原创文章花费时间较长,而伪原创通常只需要修改文章30%的内容就行,大大节省了时间。

    标签:
    seo外链
  • Seo外链要这么发 才能更有效

    这里指的“价值高”可以从以下四个方面判断1.平台权重越高、收录数量越多,代表平台越好(可通过站长工具统计平台的权重和收录量)2.平台和企业产品有一定相关性,例如美妆产品发布到美妆平台(比较能带来精准用户)3.平台用户活跃度越高越好(代表网站流量高)4.平台整体设计风格美观,每日文章有持续更新(代表平

    标签:
    seo外链
  • 帮助外链留存经验分享

    和所有的伙伴们一样,本人最开始接触这个行业也是从发外链这一块做起的。当下的互联网上可以用来发外链的平台有很多,如:论坛,贴吧,博客,收藏夹,B2B网站,分类目录,问答,文库等等,这些都可以供我们来发外链。

  • 外链防被删的7个小技巧

    先发帖再编辑修改。这个方法很简单,也就是你在发第一遍帖子的时候先不要带外链,等它发出去之后,被其他的最新帖子挤下去了以后再对其进行修改添加要发的外链再保存一下,要提醒大家的是最好间隔时间不要太长,以免之前的帖子被收录了,那样再进行后面的操作就没有意义了。

    标签:
    seo外链
榜单

热门排行

信息推荐

扫一扫关注最新创业资讯