当前位置:首页 >  站长 >  搜索优化 >  正文

TF-IDF:传统IR的相关排序技术(二)

 2013-08-26 10:04  来源:Rude的博客  我来投稿   Rude的个人主页 撤稿纠错

  短视频,自媒体,达人种草一站服务

 

既然是二,就是顺着上一篇文章《TF-IDF:传统IR的相关排序技术》写下来的。所以,有兴趣的同学请先看完第一篇文章再来继续。

好,我们继续开始二。

关于词频,只要你的分词工具够牛逼,就很好理解和实现。关于反文档频率,各位亲们,看到时会不会初时感觉很牛叉,然后细想会很有疑惑?

逆文档频率(idf)=log(文档总数/包含关键词的文档数量)

对,疑惑就在怎么获得“文档总数”与“包含关键词的文档数量”上。

在搜索引擎上,可以有一个不错的替代方式,下面听我细细道来。

每篇文章每个网页几乎都含有“的”这个字,嗯,你想到了吧。在搜索引擎中搜这个字,出来的结果数量可以理解为所有的文档数量,然后再搜你的目标词即为包含这个词的文档数量,这一数据也就得到了解决,下面是我弄的一个例子:

反文档频率

 

好了,有了这些数据,我们接下来看看能够做些什么出来。

将网站中每个网页进行分词,去掉语气助词停顿词之后按照tf-idf值从大到小进行排序。

网页A={a1,b1,c1,d1,e1……z1}

网页B={a1,b2,c1,d5,e2……z6}

网页C={a2,b1,c2,d1,e2……z2}

……

显然从{a1,b1,c1,d1,e1……z1}中就可以了解到网页A所表达的意思,B、C亦然。

如果通过一个方法将A、B、C中的词进行比对,那岂不是就可以算出来……,你想对了,页面之间的相似程度。

这个方法,就是余弦值。具体操作,如下:

我们首先从A、B、C中选出前N个可以表达页面主题的词,组成一个集合。

{a1,c1,d1,e1,b2,d5,e2,a2,b1,c2}

然后计算A、B、C页面针对这个集合中每个词的词频(如有必要,请使用相对词频),组成对应的向量。

A=[2,1,3,5,0,0,0,0,1,0]

B=[……]

C=[……]

请记住这个高中时就学到的公式。

余弦值与相似度

 

OK,经过此公式的计算,不但是页面之间的相似度,同样一个页面最相关的推荐文章也即可由此产生。

有兴趣的同学们,请试验一下吧。

转载请注明链接地址http://www.seosos.cn/search-engine/tf-idf-application.html。

作者: Rude    /    文章:15篇

申请创业报道,分享创业好点子。点击此处,共同探讨创业新机遇!

相关文章

  • 百度导航“结姻”e路航 百度LBS跨界传统硬件助产业升级

    岁末年初,互联网行业持续一年的跨界风潮再演续集。近日,移动互联网导航产品“百度导航”与传统PND硬件厂商“e路航导航”宣布正式合作,预装有百度导航的e陆航导航仪在京东开售。据悉,百度导航是首款和车载导航硬件产品进行深度合作的移动LBS产品,在互联网产品与硬件界限日趋模糊的大背景下,百度导航此举顺势而

  • 心理作怪 用文章的方式和大家侃侃而谈

    感觉我今晚就是在纠结中度过,对于已经有一段时间没有写文章的我,似乎不知道该如何开头,或许这是你看到的最烂的一篇文章的开头,其实,在这里,我没有明确的主题要展示给大家阅读,因为现在的一些深入的信息我没有了解到,看到的只是几乎所有的朋友都能看到的信息。其实我仅仅是一段时间没有写文章,又突然想写那么篇却不

    标签:
    方式
    心理
    文章
  • 搜了网:传统电商挖掘优势 线上线下结合提高营销效果

    2012年CCTV经济年度人物颁奖晚会上,马云说:“电子商务今天不是模式的创新,而是一种生活方式的变革。”王健林说:“零售商如果线上线下结合,一定会做得很好”,并拿出1个亿来跟马云赌2020年电商市场份额,史称亿元豪赌。不过,输赢不重要,我们只是观众,但土豪们观点却是一致的,那就是互联网购已经成为各

  • 每日话题:传统银行进军P2P网贷业务面临的风险是否降低?

    站长网(www.admin5.com)10月18日消息,互联网金融,尤其是P2P网贷可以说一直是人们讨论的热点。即使是频繁的P2P平台跑路事件也无法阻挡人们进入P2P行业的脚步。这不日前,招行的小企业融资平台“小企业e家”上,一个名为“e+稳健融资项目”的投融资平台悄然上线,目前已经完成6期项目发行

  • 我眼中的360和搜狗浏览器

    之所以说这两浏览器都流氓就是因为:只要我不在,不超两天,家里电脑肯定会被装上360浏览器或搜狗浏览器。不过换句话说回来:不就是改个默认浏览器吗,国内软件都一个德行。流氓的推广手法+优秀的细节处理成就了国内第二的360浏览器,不过搜狗只学会了第一招。

  • 网站每个页面的标题需要如何进行SEO优化

    一个完整的网站不仅仅只有一个首页,而是由栏目页、文章页、产品页等各类页面组合而成的,当我们进行SEO优化时,为了让网站能有更多的流量来源,对于内页也要进行一定的优化处理。

    标签:
    seo优化
  • 选好关键词,务必遵循这5大原则

    在SEO工作中,如果把网站比作是一篇优秀的文章,那么关键词就是组成文章内容的重要字词。所以,在选择关键词时,一定要做到尽善尽美。接下来就详细介绍一下关键词的选择原则。

  • 网站优化9大策略

    搜索引擎蜘蛛是无法抓取框架页的。通过noframe标签,将指向frame页的链接或带关键词的描述文本包含在框架页中,就可以实现对框架页的优化。

    标签:
    网站优化
  • A5营销:这一年,我的网站流量去哪了?未来怎么做

    前两年很多站长问我,贺老师现在什么站最好做呢?我推荐他们选择一个可以细分下来的B2B领域来做,比如:LED灯具,安防设备、电工器材等。因为无论如何,企业的需求,是永远不会变的。但是现在如果有人问我,我不会再向他们做同样的推荐。

    标签:
    seo优化
    a5营销
榜单

热门排行

信息推荐

扫一扫关注最新创业资讯