当前位置:首页 >  站长 >  搜索优化 >  正文

百度lee:搜索引擎索引系统概述(一)

 2013-10-21 17:23  来源: A5专栏   我来投稿 撤稿纠错

  【推荐】海外独服/站群服务器/高防

从上次8月份百度站长平台lee发布关于搜索引擎抓取信息后2个月已经过去,这次lee继续发布了搜索引擎索引系统的信息。不管怎么样,木木SEO认为百度官方的公告我们还是要了解和分析的。下面是百度官方公告:

众所周知,搜索引擎的主要工作过程包括:抓取、存储、页面分析、索引、检索等几个主要过程。过去几周给大家介绍了抓取相关的简要过程。今天简要介绍一下索引系统,以亿为单位的网页库中查找特定的某些关键词犹如大海里面捞针,也许一定的时间内可以完成查找,但是用户等不起,从用户体验角度我们必须在毫秒级别给予用户满意的结果,否则用户只能流失。怎样才能达到这种要求呢?

如果能知道用户查找的关键词(query切词后)都出现在哪些页面中,那么用户检索的处理过程即可以想象为包含了query中切词后不同部分的页面集合求交的过程,而检索即变成了页面名称之间的比较、求交。这样,在毫秒内以亿为单位的检索成为了可能。这就是通常所说的倒排索引及求交检索的过程。如下为建立倒排索引的基本过程:

(1)页面分析的过程实际上是将原始页面的不同部分进行识别并标记,例如:title、keywords、content、link、anchor、评论、其他非重要区域等等;

(2)分词的过程实际上包括了切词、分词、同义词转换、同义词替换等等,以对某页面title分词为例,得到的将是这样的数据:term文本、termId、词类、词性等等;

(3)之前的准备工作完成后,接下来即是建立倒排索引,形成{termàdoc},可以粗略的理解为如下,为什么是【term->doc】,而不是直接应用【doc->term】呢?

上述即是索引系统中的倒排索引过程,是搜索引擎实现毫秒级检索非常重要的一个环节。

好了,以上就百度发布的全文了,当然是很简单的,想了解更多可以看木木SEO的《不懂搜索引擎原理就是在裸奔》,我想大家在里面可以了解得更详细。另外上面文章里面的几个词可能大家不理解,简单的说一下:term就是单词文本,即关键词;termID就是单词标识。

文章编辑自:木木SEO博客

申请创业报道,分享创业好点子。点击此处,共同探讨创业新机遇!

相关文章

  • 百度站长平台:百度LEE漫谈移动化

    在3月19日的百度站长平台蝶变行动专场沙龙现场,百度LEE团队主要成员、移动搜索产品负责人熊咏志老师针对现阶段大热的PC移动化问题阐述了自己的看法,值得同学们好好学习一下,汇总起来要点如下:•理清目标用户需求,切忌盲目移动化•移动适配要全面,以免流量流失•尽快在百度站长平台验证站点,享受专项服务20

  • 百度站长平台:搜索引擎索引系统概述

    众所周知,搜索引擎的主要工作过程包括:抓取、存储、页面分析、索引、检索等几个主要过程。过去几周给大家介绍了抓取相关的简要过程。今天简要介绍一下索引系统,以亿为单位的网页库中查找特定的某些关键词犹如大海里面捞针,也许一定的时间内可以完成查找,但是用户等不起,从用户体验角度我们必须在毫秒级别给予用户满意

  • 百度lee:搜索引擎索引系统概述(二)

    10月21日,百度lee简要介绍了搜索引擎索引系统概述(一),主要讲的就是搜索引擎的倒排索引,还是先来百科一下:Query,是查询的意思,为了在数据库中寻找某一特定文件、网站、记录或一系列记录,由搜索引擎或数据库送出的消息;term是单词文本,即关键词。今天,百度Lee公布了搜索引擎索引系统概述第二

  • 百度站长平台沙龙:百度Lee解密新一代搜索引擎

    “百度之夜”百度站长平台高端沙龙▪上海站纪实A5站长网(www.admin5.com)消息,10月16日晚,“百度之夜”——百度站长平台高端沙龙▪上海站在Caffebene咖啡召开。来自携程、大众点评、1号店、途牛等60余家上海知名网站的互联网精英济济一堂。百度的搜索专家Lee对百度最近推出的知心搜

    标签:
    百度lee
  • 百度lee:建立符合搜索抓取习惯的网站

    之前百度站长lee给大家介绍了搜索抓取系统工作原理,根据该工作原理今天简要介绍一下如何建立网站是符合搜索引擎抓取系统习惯的。

热门排行

信息推荐