当前位置:首页 >  站长 >  搜索优化 >  正文

SEO人员,如何与恶意“蜘蛛”暗度陈仓?

 2019-11-13 11:50  来源: A5用户投稿   我来投稿   a521fans的个人主页 撤稿纠错

  短视频,自媒体,达人种草一站服务

在做SEO的过程中,你是否遇到这样一种问题:服务器访问CPU使用率几乎100%,而且页面加载速度特别慢,貌似被DDOS攻击一样。

经过一番审查才发现原来自己的目标网站被大量不相关的“爬虫”频繁的抓取,这对于一个小网站来讲,可能是灭顶之灾。

因此,我们在做网站优化的时候,就需要针对特定蜘蛛有选择的引导。

那么,如何与恶意“蜘蛛”暗度陈仓?

根据以往SEO经验分享,蝙蝠侠IT,将通过如下内容阐述:

1、搜索引擎爬虫

对于国内的小伙伴,我们都知道在做SEO的过程中,我们面对的最常见的爬虫就是搜索引擎的爬虫,比如:百度蜘蛛,同时,还会面临各种搜索引擎的蜘蛛,比如:

①360Spider、SogouSpider、Bytespider

②Googlebot、Bingbot、Slurp、Teoma、ia_archiver、twiceler、MSNBot

③其他爬虫

如何你没有刻意的配置你的robots.txt文件的话,理论上,你的目标页面是都可以抓取与爬行的,但对于一些中小网站,它偶尔会严重浪费自己的服务器资源。

这个时候我们就需要做出有选择性的合理引导,特别是一些比较尴尬的问题,比如:你希望谷歌降低对网站爬行,而又不能完全屏蔽,你可能需要一些小技巧,比如:针对特定爬虫的访问,反馈不同的文章列表:

①控制更新频率的列表

②反馈大量重复性,内容农场的页面

③善意的“蜘蛛陷阱”比如:Flash

④如何对方SEO管理平台,可以调整抓取评论,适当调整一下

虽然,这样的策略,很可能造成页面信誉度受损,但这是我能想到,针对这些不希望经常爬行,而又需要保持爬行的蜘蛛,合理控制抓取的一个相对“有效”的方法。

2、链接分析爬虫

从目前来看,一个SEO外链分析管理工具,每天需要耗费大量的服务器资源去全网爬行与检测每一个网站的页面链接。

针对一些资源密集型的站点,每天可能爬行成千上万次,这样的爬虫屡见不鲜。

如果你不想自身的网站参与其中,最简单的策略就是在robots协议中,全封闭这样的爬虫。

3、内容采集爬虫

但当我们面对一些恶意的内容采集爬虫而言,就相对的尴尬,对方往往是采用“隐身”的状态,比如:模拟知名搜索引擎蜘蛛的名称。

针对这样的问题,我们只能手动的判断去审查一下对方的庐山真面,比如:利用IP泛解析命令,去判断一下,它到底是不是真的。

①Linux平台:hostip

②Widows平台:nslookupIP

从而去判断对方的解析地址,是否为对应的搜索引擎域名。

4、蜘蛛池爬虫

目前市面上有很多人做百度蜘蛛池,它主要的目的是辅助更多的页面做百度快速收录,但由于一些任意下载的蜘蛛池程序设计的不规范化。

没有做到合理的针对不同蜘蛛的爬行与限定,往往导致服务器资源被大量占用,很容易被服务商关停服务器。

如果你试图利用这个策略,提升自己页面收录,那么,你可能需要多加注意。(但我们并不推荐)

总结:SEO工作是一个细节性的工作,每个策略都影响着整站的运营状态,而上述内容只是浅析,适用于中小站长,仅供参考!

原创·蝙蝠侠IT https://www.batmanit.com/p/1151.html 转载请注明!

申请创业报道,分享创业好点子。点击此处,共同探讨创业新机遇!

作者: 蝙蝠侠    /    文章:206篇

相关标签
seo优化

相关文章

  • 深度解析搜索引擎蜘蛛工作的原理

    更为网站完工的最后目地,提升总流量、提升百度收录、提升客户群体,因而而开展网站优化,那麼最先大家就需要掌握到蜘蛛拥有哪些的抓取习惯,如何下手,有句老话说的好,知彼知己才可以决战沙场无败

  • 百度不再支持sitemapXML地图文档

    Sitemap简单讲就是网站各页面列表的集合,站长可以自己编辑并提交Sitemap到百度搜索提升网站被百度蜘蛛的爬取率有助于百度蜘蛛发现并抓取网页信息提高网站收录,对于sitemap百度规定了三种形式包括XML,TXT和Sitemap索引格式,

    标签:
    百度搜索
  • 站群推广的优点,SEO站群爆炸流量

    互联网是一个非常巨大的平台,如何利用平台来更多地表达自己的产品信息,是站长追求的目标。因此,关键词排名、广泛的信息表现、话题的制造等。关键词排行,以SEO方式长期不懈的努力能够使排行稳定,但话题的制作能够通过新闻源、活动的普及等实现,信息的广泛展示能够通过站群的优化来实现。

  • 谷歌外链用自动化工具发,真的靠谱吗

    当我们做站外谷歌SEO推广,特别是外链建设的时候,经常想寻找一个快速自动发布SEO外链的工具,并且希望在SEO工作中可以利用更多的工具,来加快谷歌SEO优化的工作进度,这些想法是可以理解的,但我们真的需要这样做吗?

  • 为什么SEO关键字和元标题适合小型企业

    SEO可以提高您网站的在线排名,使其显示在搜索引擎的顶部搜索结果中。没有人有时间打开搜索引擎的第二页或第三页,并且用户更倾向于信任第一页上显示的网站。作为一家小型企业,这非常有用,因为它可以帮助您建立忠实的客户群。

    标签:
    seo优化技术
  • 想要写小清新的软文?一招让你的软文充满文艺范

    现在社会人们一提到文艺范,就感觉非常的舒服,好像画面突然就切换到了那种小雏菊、阳光、清新的画面。不过我们大多时候所说的文艺范,是指某一个具有文艺范的人,那么其实,文艺范也可以是文字

  • 直播网站利用SEO 低成本撬动百万利润

    发现一个不错的直播产品的SEO案例,网站的SEO页面设计和关键词的筛选都非常用功,简洁、有效,非常好复制;做了深入分析,分享给大家,喜欢的记得点赞哦。(去除一些隐私内容,不影响阅读)

  • 小红书排名靠前的规律,小红书排名算法教程

    由于小红书官方调整版本不同,当大家搜某个词的时候会出现版本不同的情况,所以排名相对来说难度大了很多,那么如何快速提高排名,教程如下:首先第一步我们微信右上角有个加号那里,我们点进去,我们接着看第二步

    标签:
    小红书
  • 谷歌SEO优化,警惕这5个错误操作,会造成网站排名下降!

    当我们在做谷歌SEO的过程中,我们总是思考如何更快的让网站排名得到提升,而在实际操作中,由于自身对于SEO基础知识,没有深度的研究,而总是“盲从”,经常就会造成谷歌SEO操作不当,造成网站排名下降。

  • Google建议:所有网站的链接应加上nofollow

    谷歌负责人表示,Google搜索一直在引导站长们不要在文章中插入外部链接,不论是做推广的付费文章还是自己博客发布的免费文章,都建议少放链接。而在上周,我们再次劝诫各位站长网站文章中尽量不做链接,如果文章内做了链接,建议站长们将链接带上rel-sponsored/rel-nofollow

    标签:
    谷歌搜索
    google

热门排行

信息推荐

扫一扫关注最新创业资讯