当前位置:首页 >  站长 >  搜索优化 >  正文

TF-IDF:传统IR的相关排序技术

 2013-05-24 09:23  来源: Rude的SEO博客   我来投稿   Rude的个人主页 撤稿纠错

  短视频,自媒体,达人种草一站服务

那一年,菊花还只是菊花,2B还是考试时涂卡使用的铅笔,黄瓜只有蔬菜的功能,信息检索技术(Information Retrieval)还只是简单的使用在图书馆、资料库等处。

也正是在那一年,信息检索的相关排序技术很风靡的是TF-IDF。

或许此刻你会十分想问,啥是TF-IDF?嗯,不捉急,在找寻这个问题的答案之前,先来看一个问题。

在一堆书籍里面,你想找寻和OOXX主题相关的资料(不要想歪),你用什么标准来判定这堆书籍里面的A比B更符合你的主题呢?

思考一分钟。

你或许会说,看一下这些书籍的名字,看看哪些书名里面包含我要找的主题的相关信息,然后再在剩下的这部分书籍中概览一下内容,看看哪个更符合我想要的。

想法很好。

人是这么想的,信息检索系统也得这么干才能给出我们最想要的结果,但是一个问题又暴露了出来——程序看不懂文字无法判定。

来,再给你一分钟时间,想想怎么帮程序解决这一问题。

嗯,你发现了,你想查询的主题中所包含的词汇跟这堆书籍中的某个子集内容中的词汇是有交集的。

对,用上次在搜索引擎原理简介的文章中我们谈到的基于词典的分词技术,来找寻交集。

先来给定一个词典,它是N个词的集合。

∑={t1,t2,…,tn}

而对于你搜索的条件q和这堆书籍中的某一本d,则可以根据这个词典表示为:

q={q1,q2,…,qn}

d={d1,d2,…,dn}

其中q1为t1这个词汇在你的搜索条件q中出现的次数,q2为t2这个词汇在搜索条件q中出现的次数,依次类推。如果qn为零,则表示第n个词在q中没有出现。

设定w1=d1/∑dn,则w1即为词汇t1在d中出现的频率,此刻d即可表示为:

d=,wi(i=1,2,3,…,n)即为词频(term frequency)。

对于一些质量很高的信息(书籍、文献等),词频是一个很好的,可以通过程序语言实现的,表达词汇在文档中所占权重的方式。

嗯?疑问出来了,一些词比如“我们”、“大家”等这种词汇也肯定会在多篇文章中出现,但是用此来衡量的话显然上面下的结论是不成立的啊。

恭喜你想到了这一步,此种词汇对于文档内容的辨别来说,实在木有太大的意义。

来,找特征,去掉这种词汇的影响。

啊,这些词汇会在多个文章中同时出现。

用ki(i=1,2,3,…,n)来表示ti这个词汇在书籍的集合D中所涉及的书籍次数,M表示书籍D的大小,则ki/M的值即可以说明一些问题,我们定义这个值为ti的文档频率(document frequency)。

显然,文档频率越高,这个词的权重就应该越低。

为了便于计算,常用的会是与文档频率成反比的一个量,我们称之为倒置文档频率(inverse document frequency),定义为:

IDFi=lg(M/ki)

这样以来,wi就变成了(哥从网上找了一个公式)

tf-idf

 

给定某种权重的定量设计,求文档和查询的相关性就变成了求d和q向量的某种距离,最常用的是余弦(cos)距离(这句话果断不懂,完全复制来的)。

余弦距离

 

虽然说上面的这个算法在理论上看起来比较垃圾(不考虑文章的意思,将文章看成词的集合),但是从实践下来看,其价值还是得到了普遍的认可(尤其是对于上述提到的图书检索来说)。

当然,对于目前web上这些个鱼龙混杂的网页,仅仅依靠td-idf是不够的(很容易造成一大堆关键词堆砌的网页获得好的排名),这也促成了基于链接关系等一系列算法的诞生。

原文地址:

申请创业报道,分享创业好点子。点击此处,共同探讨创业新机遇!

作者: Rude    /    文章:15篇

相关标签
TF-IDF
传统
相关排
序技

相关文章

  • 做SEO最行之有效的方法大全,值得收藏

    从事互联网行业的人对SEO一定不陌生,即使没有做过但肯定听说过,尤其是做网站相关工作的。可以说,现如今SEO已经是一种趋势,不做SEO优化推广的网站势必慢慢的被淘汰。

    标签:
    seo优化技术
  • 利用三十而已热门关键词公众号截流变现实操

    有时候,不是我们身边缺少项目,而是我们自己缺少了发现项目的火眼金睛,不是别人的赚钱模式多么地高深莫测,而是我们自己缺少对项目认真探索和钻研的精神,也不是我们赚不到钱,而是缺少一个赚钱的机会。

  • 困境下的SEO,站长如何自渡?

    按照惯例,本周清算了一下上月的项目收入、支出,顺便进行了对比,发现同比去年7月项目收入少了12K,支出却多了4k;再翻看前年的记账本,7月项目收入是47k,支出9k,而今年7月的项目收入仅有36k,支出是17k。毫无疑问,这是一个危险的信号,很惊悚。

    标签:
    seo优化
  • 网站SEO优化,哪些页面不需要Google建立索引

    对于一名GoogleSEO人员而言,我们每天需要解决的最直接的问题就是网站不被Google索引的问题,但在很长一段时间里,实际上,我们认为,对于网站SEO优化而言,并不是所有的页面都需要被Google建立索引。

  • 如何利用Google Keywords Planner 做SEO的关键词调研?

    关键词规划师有它的局限性。因为它所谓的发现新关键词,是基于你给出的关键词进行一些长尾词的拓展,所以有些人会觉得它给出的关键词提示比较具有局限性。这也会使得每个人做类似的行业使用该工具都会得到一样的词。

  • 谷歌SEO推广团队,这样管理更高效

    如今不论是外贸企业还是专业的海外推广公司都会组建自己的GoogleSEO推广团队,可以更有效的做好网站SEO,但是要发挥谷歌SEO推广团队的最大效能,我们并不能随意的让团队成员听之任之,随波逐流,我们需要有一套标准化的管理制度,来管理谷歌SEO推广团队。

    标签:
    google优化排名
  • 原创内容一定是优质内容吗

    优质内容,也叫“有效内容产出”,有效内容一定是用户有所需求,也就是说你所生产的内容一定是用户搜索过并可以产生有效流量的,所谓的题文相符,也就是说内容主体和标题形成强相关性。

    标签:
    内容创业
  • 白皮书解读搜索引擎的工作原理建库

    百度蜘蛛抓取建库是个极其复杂的系统工程,光是抓取系统就分为链接存储系统、链接选取系统、DNS解析服务系统、抓取调度系统、网页分析系统、链接提取系统、链接分析系统、网页存储系统。

    标签:
    seo优化
  • 从0到权3网站流量的增长方案要怎么做

    执行、实施阶段性任务、计划需要保持一个平常心,还有现在养站没那么简单了,大有一种无论是优质老域名还是新域名待遇都是一样的节奏,且考察期也相对漫长了一些,但只要花心思了,用心了搜索引擎是能看得到的。

  • SEO如何优化好网站?SEO有哪些优化网站的方法?

    现在,越来越多的个人和企业开始重视互联网创业,想要经营好自己的线上生意,获得更多的用户和订单,就需要学会系统化的获取流量的方法。但是,很多的新手站长抱怨,他们花了很多的时间去做网站,内容也全部自己整理或写作,版面也很漂亮,可为什么就优化不上去,也没有排名呢?

热门排行

信息推荐

扫一扫关注最新创业资讯