当前位置:首页 >  站长 >  搜索优化 >  正文

百度爬虫观察

 2007-08-08 00:18  来源: 非主流中文网Www.Danvzi.cn   我来投稿 撤稿纠错

  【推荐】海外独服/站群服务器/高防

在这儿交流一下网站被搜索引擎收录的情况,然后和大家交流交流,作为一个菜鸟,我是从菜鸟的角度观察的,有啥幼稚可笑的地方希望大家尽管笑,博朋友们一乐足矣。

非主流大女子网于2007年8月5日正式上线,其实就是把初步改好的网站挂上去。不过注意一下,我所谓的上线并不是把非主流大女子网能正常访问开始算,而是把非主流大女子网和其他baidu收录的网站挂好链接,这算是正式上线,如果没有外链,搜索引擎不知道有这个非主流网的存在,那放一年又有什么意义,谈不上上线。

由于我所挂链接的网站是一个非常活跃的网站,通过对网站日志的观察,几乎是每小时百度和谷歌的爬虫都会来访问,所以,挂上后,应该很快有他们的爬虫到非主流大女子网的。

果然很快,在一个小时内,首先来的爬虫是雅虎的,小弟发现,雅虎的爬虫最近非常的活跃,不过我对他不是很感兴趣,因为雅虎带来的流量是非常有限的,甚至不如搜狗有时候。

在一个小时以后,谷歌的爬虫也来了,而且我每隔一个小时就观察,谷歌的爬虫很活跃,几乎每个小时都在爬啊爬的,最近对谷歌还是比较喜欢的,虽然流量带来的不多,但是每天来两百、三百的ip很容易的,只要做到位,半个月偶就能从谷歌搞来三百以上ip。

最盼望的百度的爬虫这次竟然太弱了,等了3天,谷歌和雅虎收录都体现出来了,百度竟然还没有动静。急。

终于,在2007年8月7日,百度的爬虫终于出现了,果不其然,百度的虫子首先检查的非主流大女子网目录下的robot.txt文件,这个是不存在的,那就是说俺的网站是允许百度的爬虫来的,不过也是废话,在国内,谁会主动的躲开百度呢?除非他精神有问题吧。

2007-08-07 08:53:12 GET /robots.txt - 80 - 222.222.126.113 Baiduspider+(+) - - 404 0 64

在接下来的一个小时内,百度的爬虫扫描了几乎所有的页面(本身也不多,就添加了30多篇),而且百度的爬虫几乎把所有的图片,包括文章内上传的和网页上的小图片,它都爬了一遍。

我现在有个感觉,保持百度爬虫的活跃度,要从这个时刻开始:发现百度的爬虫来了以后,每次新来过以后你要添加几篇文章,让爬虫每次来都有新东西可吃,这样子他会非常勤快的。我相信,他每小时都回来的。

不知道非主流大女子网能否实现我的预期效果,我要测试,我会在站长网随时更新我的观察结果。

谢谢大家。

恭喜你:今天是2007.8.08.你看到这条消息的时候,立即进去抢宝论坛登记信息,抢属于你的¥50.00 寻宝赞助由 中华赏金人才网赞助 请各位未抢到宝的站长,关注中华赏金人才网)还有更多的奖励机会。

以下是百度的爬虫对非主流大女子网扫描的记录片段

2007-08-07 09:04:55 GET /images/banner.gif - 80 - 222.222.126.113 Mozilla/4.0+(compatible;+MSIE+6.0;+Windows+NT+5.1;+SV1) AJSTAT_ok_pages=1;+AJSTAT_ok_times=1 304 0 0
2007-08-07 09:04:55 GET /images/bea_03.gif - 80 - 222.222.126.113 Mozilla/4.0+(compatible;+MSIE+6.0;+Windows+NT+5.1;+SV1) AJSTAT_ok_pages=1;+AJSTAT_ok_times=1

申请创业报道,分享创业好点子。点击此处,共同探讨创业新机遇!

相关文章

  • 百度爬虫是什么

    百度爬虫是一种网络机器人,它可以根据一定的规则,在各个网站爬行,对访问过的网页、图片、视频等内容进行收集整理,分类建立数据库,呈现在搜索引擎上,让用户通过搜索某些关键字,就可以看到企业网站的网页、图片、视频等。

    标签:
    百度爬虫
  • 百度蜘蛛爬虫的工作原理

    百度是中国目前的第一大搜索引擎,拥有完善的一套爬虫算法,了解百度蜘蛛的爬虫原理,对我们SEO优化工作有着举足轻重的作用。我们可以从下面这张图片来详细了解百度蜘蛛爬取网页的一整套流程和体系

  • 影响百度爬虫对网站抓取量的因素

    影响百度爬虫对网站抓取量的因素有哪些?

    标签:
    爬虫
    百度爬虫
  • 哪些网站优化的细节会影响百度爬虫的抓取

    大多站长都知道百度爬虫的重要性,一般你的网页参与排名要分四个步骤,分别是抓取、收录、索引、展现,其中抓取是我们站长做SEO网站优化的第一步,那么问题来了,济南SEO培训告诉你站长做SEO的哪些操作会影响到济南seo网站优化百度蜘蛛的抓取呢哪些网站优化的细节会影响百度爬虫的抓取看看你的IP上有没有大站

    标签:
    百度爬虫
  • 百度“蜘蛛爬虫”如何判断网站访问速度的相关因素

    潘田最近在使用百度统计时发现了一个百度新推出的功能“网站速度诊断”,具体什么时候出来,笔者也不太清,只知道以前是没有,最近才发现的。这功能很有趣,它所诊断的一个网站的访问速度技术标准都是以百度来衡量的。既然如此,那么百度蜘蛛爬虫在访问一个网站的时候,

    标签:
    百度爬虫

热门排行

信息推荐