当前位置:首页 >  站长 >  搜索优化 >  正文

搜索引擎原理简析 不懂搜索引擎原理的SEOer就是在裸奔

 2013-05-23 09:32  来源: Rude的SEO博客   我来投稿   Rude的个人主页 撤稿纠错

  短视频,自媒体,达人种草一站服务

不懂搜索引擎原理的SEOer就是在裸奔。

嗯,在结束废话之前,再插一句:中国第一个基于网页索引搜索的搜索引擎是北大的天网。

好,先上图来简单看下搜索引擎的“三板斧”:数据搜集—>预处理【索引】—>排名。

搜索引擎三板斧

 

数据搜集

即数据的搜集阶段,将网页从浩如瀚海的互联网世界搜集到自己的数据库中进行存储。

1、抓取维护策略

面对大量需要处理的数据,很多问题需要事先考虑好。比如是“即时抓取”数据还是“事先抓取”?在对数据进行维护时是“定期抓取”(定期一次深度大抓取,替代原有的数据)还是“增量抓取”(以原有数据为根基,进行新旧交替)?

2、链接跟踪

我们都知道,蜘蛛是顺着链接爬行和抓取页面的。如何快速抓取到对用户来说相对重要的信息以及达到广阔的覆盖无疑是搜索引擎需要重点考虑的问题。

先来说第一个,怎么抓取到重要的信息。

想要知道这个,首页要明白人们是怎么样主观去判断一个页面是否重要的(自己先思考下)。其实无外乎以下几种情况:

网页有历史权重积累(域名等时间较长、质量高、资格老)、很多人会提到这个页面(外链指向)、很多人会引用这个页面(转载或者镜像)、这个页面便于用户快速浏览(层级较浅)、经常有新的内容出现(更新)等等。

而在链接跟踪阶段,其实能得到的信息只有“这个页面便于用户快速浏览(层级较浅)”,其它信息还未获取。

对于信息的覆盖,其实就是蜘蛛在跟踪链接时的两个策略:深度抓取与广度抓取。

蜘蛛爬行策略

 

用屁股想一下也知道,广度抓取有助于获取到更多的信息,深度抓取有助于得到更全面的信息。搜索引擎蜘蛛在抓取数据时,通常会两种方式都采用,但是想比较来说,广度抓取要多于深度抓取。

3、地址库

搜索引擎在建立初期,必须是要有一个人工录入的种子库的,否则蜘蛛将会在进行连接跟踪时无从下手。顺着这些种子库,蜘蛛可以发现更多的链接。

当然,多个搜索引擎都会放出一个页面的提交入口,以便于站长将站点进行提交。

不过值得一提的是,搜索引擎更喜欢自己发现的链接。

4、文件存储

链接跟踪完毕,需要将跟踪到的信息进行存储。存储的对象,第一是url,第二是页面内容(文件大小、最后一次更新时间、http状态码、页面源代码等等)。

关于url,由于上次看到一个泛端口作弊的站点,这里简单的提一下。一个url是由传输协议、域名、端口、路径、文件名等几部分组成的。

预处理【索引】

数据抓取完毕,就需要进行预处理了(也有很多人喜欢把这一步叫做索引)。主要会从提取文字、分词,建立索引,链接分析等几个方面来进行。

1、提取文字

很好理解的一部,将源代码中的文字提取出来。当然需要注意的是,这里面会包括meta信息以及一些替代文字(例如alt标签)。

2、分词

每到这一步,总是想感叹下汉字的博大精深。啊!啊!啊!

感叹完毕,继续走起。

分词是中文特有的一个步骤,即根据句子说要表达的意思将正文进行拆分。通常情况下,分词会有基于词典以及统计学两种方式。

为了更加有效的进行机器分词,通常会采用“正向匹配”与“逆向匹配”两种思路来进行。值得一提的是,“逆向匹配”的方式更容易获得更多有价值的信息(想想为什么)。

如果你对分词感兴趣,不妨来看一下这篇文章。

需要强调的一点是,为了便于分词之后的词组可以更好的表达文章的核心意思,会进行去停顿词(的、啊、嗯之类的词)以及去噪(导航、版权、分类等对主体意思表达木有影响分的内容)的处理。

3、去重

经过去停顿,去噪之后剩下的词组,已经可以很好的表达出页面的主体意思了。为了便于使得内容不被搜索引擎重复收录,搜索引擎需要一个算法来进行去重处理。

比如比较知名且常用的为MD5算法,请点击链接到百度百科自行脑补。

4、建立索引

去重完毕,便是一个大家经常说起的正向索引与倒排索引。

索引建立

 

5、链接算法

在此阶段,各个页面之间的链接关系也会被搜集。为了便于大家回顾上述,哥特地耗费大量心血搞了一个图。

前两部的流程图

 

排名

索引文件建立完毕,离排名就不远了。

1、搜索词的处理

搜素引擎会对搜索词同样进行分词处理(想想为什么),说到这里,又不禁想感慨下汉字的博大精深之处。

针对这里,想补充的是一个叫做文本粒度的概念。额,为了避免误认子弟,还是给出百度官方关于此处的解释。

2、文件匹配与子集选择

按照百度官方的说法,将用户搜索的词进行分词处理之后,便可以对索引库进行召回了。这里需要考虑到的一点是,用户查看的往往会是前几页的搜索结果。所以为了资源计,搜索引擎往往会只返回部分的结果(百度显示76页,谷歌100页),即召回的索引库中的子集文件。

3、相关性计算

通常情况下,会有五种因素会影响到相关系。

影响相关性的因素

 

关于此部分,也就是大家经常说到的SEO优化手段与方法,这里就不再赘述了。

4、排名过滤与调整

其实经过相关性计算,结果已经大体确定了。只是为了惩罚一些有作弊嫌疑的站点,搜索引擎会在此部分进行结果的微调。

比如百度的11位机制。

5、结果的显示

深喘一口气,终于可以看到显示的结果了。

返回的结果会包含title、描述、快照入口、快照日期、url等几个方面。

这里值得一提的是,不只是描述搜索引擎可以动态抓取,或许在不久的将来,title也会进行动态抓取。

原文地址: 。

申请创业报道,分享创业好点子。点击此处,共同探讨创业新机遇!

作者: Rude    /    文章:15篇

相关标签
搜索
引擎
原理
简析

相关文章

  • 中美搜索巨头的Q3财报:智能搜索成为增长新动力

    在中概股财报季已经正式袭来之际,11月7日凌晨,百度发布了2019年第三季度的财报数据。根据百度的财报数据显示:百度2019年三季度营收281亿元人民币,超出华尔街分析师平均预期的275.3亿元人民币;非美国通用会计准则,本季度归属百度的净利润达到44亿元人民币

    标签:
    搜索引擎
    搜索
  • 海外服务搜索平台去海外网完成数百万元种子轮融资

    A5创业网(公众号:iadmin5)3月18日报道,近日,互联网海外服务搜索平台去海外网完成数百万元种子轮融资。去海外网是一家互联网海外服务搜索平台,涵盖海外置业、海外移民、海外医疗、海外教育、海外保险、海外理财等产品和服务。

  • 新手教程:如何搭建百度搜索推广账户结构

    不知道如何搭建搜索推广账户?会搭建,但不知道搭建的是否正确?通过本篇文章对百度账户的讲解,你将会弄明白搭建搜索账户中的一些技巧~搜索推广的账户结构由账户、推广计划、推广单元和关键词/创意四个层级构成,且一个推广单元由多个关键词和多个创意构成,可看下图:注:一个百度搜索推广账户可以创建100个推广计划

    标签:
    搜索
  • 2016年3大付费搜索PPC领域不可忽视的趋势

    站在风口上,猪都会飞,这是去年广为流传的一句关于互联网的话。互联网+大道盛行,大部分行业领域都为此做出了策略调整,付费搜索也不例外。本文中将简单的分享一下广告主们2016年在付费搜索领域应着重考虑的3个趋势。1.广告创意–借助样式,用好非文字,精益求精起初竞价专员每天的工作是,为每则PPC广告写出9

    标签:
    搜索
  • 网站优化如何根据百度搜索结果调整优化思路

    我们知道,网站优化过程中细节是致关重要的,那摩,什么是细节问题的分析,如何调整网站细节优化,解铃还须系铃人,心病还需心药医,我们只有通过对于百度结果页的认真分析才能真正找出当下百度优化的侧重点。好,咱们闲话短续,进入今天主题,网站优化如何根据百度搜索结果调整优化思路。第一,比如我们搜索川菜,如图,你

  • 谷歌不收录?4个步骤将你的URL提交给Google

    有几种方法可以确认,但是,最直接的方法是将你提供的TXT记录复制到域名提供商的DNS配置中。复制TXT记录后,登录到你域名提供商的网站,然后将Google的TXT记录粘贴到你的DNS配置中,再回到GoogleSearchConsole,单击右下角的“验证”即可。

    标签:
    谷歌搜索
  • 影响SEO优化的因素之一:服务器配置的好坏

    网站推广是现今很多企业都十分青睐的营销模式,而今要想能够在搜索引擎中获得一个良好的排名效果,对于网站"外部包装"就不可忽视,比如网站服务器或者云主机的选择。不同网站需求,对服务器配置要求也不一样。那么SEO优化效果受服务器限制吗?

    标签:
    seo优化技术
  • 2020百度大搜cpc户和ocpc户该如何出价和调价

    现在做竞价投大搜,有两种玩法。老式的cpc出价和新的ocpc出价。其实ocpc也不算是新玩法,只是现在越来越主流,开始成熟起来。cpc出价和ocpc出价的差异其实很大,哪一种出价都可以提升效果,关键是要契合你的账户。

    标签:
    百度竞价推广
  • 想要提升外贸SEO流量,为什么Google建议更新网站

    这些问题,都是我们在日常运营的过程中,经常会遇到的一些问题,那么解决这个问题唯一的方法,Google的建议就是不要停止网站的更新,因为搜索引擎蜘蛛喜欢抓取新内容,而且最重要的是,Google需要一些新颖并且能解决搜索需求的高质量内容。

  • 实际测试!这些因素是如何影响Google排名的

    从目前来看,市面上有很多人在讨论GoogleSEO,但大部分的从业者都是略知一会,稍微懂一点皮毛,我们会看见大量的GoogleSEO从业者,更多的属于销售型人才,而很少能够真正的了解一些基础性的原理。

    标签:
    google优化排名
  • SEO优化设计,如何处理网站动态参数

    在SEO的日常工作中,我们常常认为,要想擅长某件事,首先必须利用它的工具。这里的“工具”关键是指我们网站本身的形式,在影响网站结构的诸多因素中,URL的动态参数是关键。

    标签:
    seo优化技术

热门排行

信息推荐

扫一扫关注最新创业资讯