当前位置:首页 >  站长 >  搜索优化 >  正文

站长吐槽:头条搜索爬虫暴力抓取网站内容

 2019-11-09 16:45  来源:卢松松博客  我来投稿   卢松松的个人主页 撤稿纠错

  各种互联网项目,新手可操作,几乎都是0门槛

最近有站长在网上发文吐槽表示,字节跳动为了快速发展搜索业务派出爬虫四处暴力抓取网站内容,部分配置较低的网站已经直接瘫痪,给中小网站主们造成了很大的损失和困扰,严重影响了网站正常的用户访问。

该站长表示,今年7月份,他突然发现公司的网站经常性打不开,网页加载极其缓慢,有时甚至直接瘫痪。经过一系列排查后,在服务器日志上发现了bytespider爬虫的痕迹。该爬虫抓取的频率每天达几百万次,高则上千万次,服务器带宽负载飙至100%,而且该爬虫在抓取时完全不遵守网站的robots协议。

该站长顺着该爬虫的IP地址查询,证实,该爬虫就是字节跳动的搜索爬虫。

并且,在CSDN、V2EX等技术论坛也了解到,从字节跳动开始做搜索之后,其实网络上就一直有站长抱怨头条搜索爬虫抓取过于暴力的声音,遭受字节跳动的搜索爬虫暴力抓取的不是个例,很多小网站他们也没放过。

有小网站主抱怨表示:字节跳动的爬虫“一上午对网站发出46万次请求”,网站都瘫痪了,百度也没有这么折腾的!

最后,该站长表示,像我们这样做SEO的人来说,主要工作目标就是希望自己家网站能在主流搜索引擎的搜索结果中排在前面的位置,“对于像百度、搜狗、360等搜索引擎的规范抓取和收录各位站长都是非常欢迎的,但是头条搜索爬虫这样疯狂爬取内容网站都给整瘫痪了,不仅没给网站带来流量,还影响了正常的用户访问,这就很不“讲究”了。

但是对此,字节跳动的回应则是,“网络报道不实,目前头条搜索设有反馈机制,网站因为爬虫受到影响,可以直接通过邮件反馈处理。”明是不准备正面回应的。

所以通过头条搜索爬虫暴力抓取网站内容来看,磊哥个人觉得,字节跳动入局全网搜索搅动搜素市场是好事,但是为了快速崛起让自己家爬虫四处暴力抓取,就有问题了,大网站服务器配置高,技术人员多还好,很多小网站根本就顶不住字节跳动的搜索爬虫这么折腾。

搜索引擎的索引数据是靠点滴积累起来的,百度、搜狗.360经历了那么多年的发展积累才走到今天,头条搜索想要疯狂爬取内容,“一口吃个胖子”,只会让站长们远离!

作者:磊哥

来源:卢松松博客,欢迎分享。

作者: 卢松松    /    文章:1254篇

相关标签
头条搜索
搜索引擎

申请创业报道,分享创业好点子。点击此处,共同探讨创业新机遇!

相关文章

  • 蜘蛛池教你在SEO优化中有哪些注意事项?

    蜘蛛池www.zuizhizhu.com三十五台智能服务器,每天超千万蜘蛛爬行,让您的链接收录率和排名快速提升。目前有:百度蜘蛛池、搜狗蜘蛛池、360蜘蛛池、神马蜘蛛池、繁殖池、权重池,欢迎使用。

  • 提升百度权重的方法

    长尾关键词选择好了,我们的内容一定要有原创性。对于新站,我们不能大量采集文章,要度过百度的考察期,我们在进行采集内容,这样有利于收入以及增加网站权重。内容尽量每天坚持更新。

    标签:
    百度权重
  • 影响百度权重的三个重要因素

    关键词的百度指数是变化的,是根据某个词的搜索人数的多少来确定的,所以,这一点上是可以做假的!所以,有些专门卖外链的站长就会利用一些软件来刷,而抬高关键词的百度指数,从而实现提高百度权重。

    标签:
    百度权重
  • 如何快速提高网站的百度权重?百度权重真的重要吗?

    网站流量越大,百度权重无疑越高,一个网站想要提高流量,除了做好优化外,还有一些手段可以提高网站流量,比如通过微博、微信群、QQ群、SNS网站等对网站进行引流,最简单的方式就是在网站上安装百度分享的功能,每天将发布的文章进行分享,从而吸引流量,当然,你的优化做好了,流量更加会大量增加。

    标签:
    百度权重
  • 揭秘刷百度权重那些不为人知的事情

    假设你的网站有一个关键词在百度有排名,如果这个关键词的百度指数很高的话,那这个网站的百度权重一定会很高。所以从上图可以看出,那个网站的域名关键词指数很高,所以这个网站的权重就很高。

    标签:
    百度权重
  • 新站快速提高网站的百度权重技巧

    要想提高百度权重就得在百度搜索引擎获得更多的关键词排名与流量。说白了,就是做SEO,但并不是你会做SEO就能够快速提高网站的百度权重,这里面还是要讲思维与技巧的。

    标签:
    百度权重
榜单

热门排行

信息推荐

扫一扫关注最新创业资讯