当前位置:首页 >  站长 >  搜索优化 >  正文

站长吐槽:头条搜索爬虫暴力抓取网站内容

 2019-11-09 16:45  来源: 卢松松博客   我来投稿   卢松松的个人主页 撤稿纠错

  短视频,自媒体,达人种草一站服务

最近有站长在网上发文吐槽表示,字节跳动为了快速发展搜索业务派出爬虫四处暴力抓取网站内容,部分配置较低的网站已经直接瘫痪,给中小网站主们造成了很大的损失和困扰,严重影响了网站正常的用户访问。

该站长表示,今年7月份,他突然发现公司的网站经常性打不开,网页加载极其缓慢,有时甚至直接瘫痪。经过一系列排查后,在服务器日志上发现了bytespider爬虫的痕迹。该爬虫抓取的频率每天达几百万次,高则上千万次,服务器带宽负载飙至100%,而且该爬虫在抓取时完全不遵守网站的robots协议。

该站长顺着该爬虫的IP地址查询,证实,该爬虫就是字节跳动的搜索爬虫。

并且,在CSDN、V2EX等技术论坛也了解到,从字节跳动开始做搜索之后,其实网络上就一直有站长抱怨头条搜索爬虫抓取过于暴力的声音,遭受字节跳动的搜索爬虫暴力抓取的不是个例,很多小网站他们也没放过。

有小网站主抱怨表示:字节跳动的爬虫“一上午对网站发出46万次请求”,网站都瘫痪了,百度也没有这么折腾的!

最后,该站长表示,像我们这样做SEO的人来说,主要工作目标就是希望自己家网站能在主流搜索引擎的搜索结果中排在前面的位置,“对于像百度、搜狗、360等搜索引擎的规范抓取和收录各位站长都是非常欢迎的,但是头条搜索爬虫这样疯狂爬取内容网站都给整瘫痪了,不仅没给网站带来流量,还影响了正常的用户访问,这就很不“讲究”了。

但是对此,字节跳动的回应则是,“网络报道不实,目前头条搜索设有反馈机制,网站因为爬虫受到影响,可以直接通过邮件反馈处理。”明是不准备正面回应的。

所以通过头条搜索爬虫暴力抓取网站内容来看,磊哥个人觉得,字节跳动入局全网搜索搅动搜素市场是好事,但是为了快速崛起让自己家爬虫四处暴力抓取,就有问题了,大网站服务器配置高,技术人员多还好,很多小网站根本就顶不住字节跳动的搜索爬虫这么折腾。

搜索引擎的索引数据是靠点滴积累起来的,百度、搜狗.360经历了那么多年的发展积累才走到今天,头条搜索想要疯狂爬取内容,“一口吃个胖子”,只会让站长们远离!

作者:磊哥

来源:卢松松博客,欢迎分享。

申请创业报道,分享创业好点子。点击此处,共同探讨创业新机遇!

作者: 卢松松    /    文章:1448篇

相关标签
头条搜索
搜索引擎

相关文章

  • 百度搜索正式升级冰桶算法5.0

    从冰桶算法5.0升级通知解读看,这次冰桶算法5.0算法升级,核心点就一个,主要打击网站调起APP的行为,类似点击“阅读全文”强制跳转APP下载页和百度搜索结果中点击搜索结果调起APP都是打击的对象,直接点讲就是百度禁止网站出现在百度搜索结果页中点击搜索结果链接跳转到其他APP行为。

    标签:
    百度算法
  • 百度反推算法,又一次站长和百度之间的较量

    最近在站长圈里最火的莫过于百度反推算法,这个反推逻辑,也就是用结果反推过程,揭秘了百度收录的秘密。这个原理是什么?我们经过实际测试知道,百度投诉快照是可以引来蜘蛛的

  • 百度搜索低调改版搜索界面

    最近不知道有站长发现没有,没有任何宣传,百度搜索最近低调的将自家搜索界面给改版了,改版后的整体搜索框和按钮都转向了偏向手机UI风格的小清新风格,相比之前旧版倒是感觉圆润不少。

    标签:
    百度搜索
  • STUSEO研究社Nico:seo的核心思想和seo影响因素综合分析

    搜索引擎是指根据一定的策略、运用特定的计算机程序从互联网上搜集信息,在对信息进行组织和处理后,为用户提供检索服务,将用户检索相关的信息展示给用户的系统。我们常见的搜索引擎有:百度、谷歌、360搜索、搜狗、搜搜等。

    标签:
    搜索引擎
  • 黑帽SEO圈里流行"反推技术秒收"

    有站长爆料:黑帽SEO圈最近开始流行新的作弊玩法"反推技术秒收"有部分站实现收录从0跳到到10W+,秒杀百度快速收录!

    标签:
    黑帽seo技术
  • CCbot蜘蛛你有见过吗?

    使用robots.txt文件来允许或禁止蜘蛛访问页面的权限。robots.txt是放在网站根目录中,蜘蛛来访问时会先查找并查看robots.txt文件,并遵守robots协议来访问网站上的内容,允许访问则访问,不允许访问蜘蛛则离开。

    标签:
    搜索引擎蜘蛛
  • 怎样优化关键词搜索指数?

    我们需要了解用户都是通过搜索什么关键词进入网站?目标用户的使用习惯是什么?就比如有人习惯说关键字,有人习惯说关键词,其实可能意思都一样,但是因为个人的习惯不同,而会有不同的展现。

  • 网站使用相同的IP地址对SEO有何影响?

    大家可能会听到过一个声明,独立IP更有利于搜索引擎优化,共享的IP不利于搜索引擎优化,事实情况也的确如此,共享的空间和独立的空间相比,真的不如独立空间好,小编认为,独立IP的稳定性更好,但是只要服务器不会影响到搜索引擎和用户体验

    标签:
    seo优化技术
  • 为什么谷歌SEO排名需要持续不断地优化

    在做谷歌SEO的过程中,我们总是在不断的前行,甚至没有任何的休息,如果你是一个没有耐力的SEO工作者,我们往往会在赛道中途离场,这很显然在某种程度上是一种常态。在SEO圈,经常会有这样一句话:谷歌SEO排名技术,它总是永无止境的。

  • 五千长文说清竞价推广的核心操作和优化思路

    竞价推广在中国的发展已经有很多年的历史了,也走过了萌芽期、成长期和黄金期,现在可以说是一个转型期。一方面是产品本身的升级,另一方面是市场格局也在不断变化。

    标签:
    百度竞价
榜单

热门排行

信息推荐

扫一扫关注最新创业资讯