当前位置:首页 >  站长 >  搜索优化 >  正文

全民一起屏蔽百度的爬虫

 2008-09-16 00:39  来源: http://www.dssz.net   我来投稿 撤稿纠错

  【推荐】海外独服/站群服务器/高防

奥运之后,淘宝网屏蔽搜索引擎事件应该算是互联网界最为热门的话题了,淘宝对不同搜索引擎进行不同程度的屏蔽,宣称这一举措意在保护消费者利益。其实根据罗伊网的调查发现在这消息之前淘宝网已将百度搜索屏蔽,不过却没有屏蔽谷歌对淘宝网的抓取。这意味着什么呢?借着近期百度C2C即将上线的新闻炒作,大家几乎都把答案设定在“双方在电子商务领域走向正面冲突的地步”,真的是这样吗?为了C2C之战,所以淘宝屏蔽百度?

屏蔽百度的方式,是通过在网站根目录生成一个 robots.txt的文件,内容为:

User-agent: Baiduspider

Disallow: /

User-agent: baiduspider

Disallow: /

这几名话的意思就是,当爬虫是 Baiduspider时,禁止访问当前网站的所有内容.就是只屏蔽百度的爬虫,对其它搜索引擎,如:Google, Yahoo,有道等并不影响.自从百度长大了以后,站长门一直都受到百度的歁压,随意K掉我们的网站,我的网站: 原来每天有一万多的IP,但自从被百度K掉以后,访问量直线下降,搞得现在都没心思搞下去了.

事到如今,有了淘宝屏蔽百度,各位站长应该在淘老大的号召下,一起屏蔽百度的爬虫,别让百度太囂张了.

屏蔽方式很简单,打开 保存到你的电脑里为:robots.txt,再上传到你的网站根目录,就可以把百度扫门而出.让百度以后搜不出东西,自不然国内的用户就会转到其它的搜索引擎,至少别的引擎不会乱K我们的站吧.对不对?

我现在把我的屏蔽网站给你们看,我不是说说而已的:

大家看着办吧,你想被人K,还是你K别人!随你喜欢了.

站长网新闻榜 www.admin5.com/top

申请创业报道,分享创业好点子。点击此处,共同探讨创业新机遇!

相关文章

  • 百度爬虫是什么

    百度爬虫是一种网络机器人,它可以根据一定的规则,在各个网站爬行,对访问过的网页、图片、视频等内容进行收集整理,分类建立数据库,呈现在搜索引擎上,让用户通过搜索某些关键字,就可以看到企业网站的网页、图片、视频等。

    标签:
    百度爬虫
  • 百度蜘蛛爬虫的工作原理

    百度是中国目前的第一大搜索引擎,拥有完善的一套爬虫算法,了解百度蜘蛛的爬虫原理,对我们SEO优化工作有着举足轻重的作用。我们可以从下面这张图片来详细了解百度蜘蛛爬取网页的一整套流程和体系

  • 腾讯回应屏蔽百度系APP:触发当日分享上限就自动不可见

    近日有网友反映称,百度系部分App遭朋友圈“屏蔽”,腾讯方面回应称,分享次数达到当日上限,触发“防刷屏机制”。腾讯方面表示,朋友圈一直有防刷屏机制,触发当日分享上限就自动不可见

  • 影响百度爬虫对网站抓取量的因素

    影响百度爬虫对网站抓取量的因素有哪些?

    标签:
    爬虫
    百度爬虫
  • 哪些网站优化的细节会影响百度爬虫的抓取

    大多站长都知道百度爬虫的重要性,一般你的网页参与排名要分四个步骤,分别是抓取、收录、索引、展现,其中抓取是我们站长做SEO网站优化的第一步,那么问题来了,济南SEO培训告诉你站长做SEO的哪些操作会影响到济南seo网站优化百度蜘蛛的抓取呢哪些网站优化的细节会影响百度爬虫的抓取看看你的IP上有没有大站

    标签:
    百度爬虫

热门排行

信息推荐