当前位置:首页 >  站长 >  搜索优化 >  正文

CCbot蜘蛛你有见过吗?

 2020-06-29 17:08  来源: A5用户投稿   我来投稿   may90的个人主页 撤稿纠错

  短视频,自媒体,达人种草一站服务

不清楚您的网站日志中是否有出现过一个不太常见的CC蜘蛛,访问名称为:CCBot/2.0,下面我们具体来了解一下CCbot是什么蜘蛛?

一. CCbot是什么蜘蛛?

CCbot,全称为Common Crawl Bot,是一个非营利性基金会致力于提供可以被所有人访问和分析的Web爬网数据的开放存储库。

二. 你如何处理CCbot蜘蛛?

方法1. 使用robots.txt

使用robots.txt文件来允许或禁止蜘蛛访问页面的权限。robots.txt是放在网站根目录中,蜘蛛来访问时会先查找并查看robots.txt文件,并遵守robots协议来访问网站上的内容,允许访问则访问,不允许访问蜘蛛则离开。

①. 不允许任何蜘蛛访问您站点的任何部分

User-agent:*

Disallow:/

②. 允许任何蜘蛛访问您站点的任何部分

User-agent:*

Disallow:

③. 不允许CCbot蜘蛛访问网站的任何部分

User-agent:ccbot

Disallow:/

④. 允许CCbot蜘蛛访问您站点的任何部分

User-agent:ccbot

Disallow:

⑤. 允许CCbot蜘蛛访问您站点,但不允许CCbot访问“wp-admin”文件夹

User-agent:ccbot

Disallow:/wp-admin

方法2. 使用元标记

可以在页面中使用元标记来帮助控制搜索引擎蜘蛛对您网站的访问权限。如果您为所有页面使用模板,则可以在和之间添加元标记, 它将适用于使用该模板的所有页面。如果要控制特定页面,可以在和之间的各个页面上添加元标记 。

①. 允许所有蜘蛛访问您的页面

②. 允许所有蜘蛛访问您的网页并跟踪页面上的链接

③. 允许所有蜘蛛访问您的网页,但不允许他们跟踪链接

④. 不允许任何蜘蛛访问您的网页

⑤. 允许CCbot访问您的网页

⑥. 不允许CCbot访问您的页面

⑦. 允许CCbot访问您的页面并跟踪更多页面的链接

如果你在网站日志中也发现了CCbot,不要惊慌,你接下来需要做的就是是允许它继续爬行还是禁止爬行?May个人觉得这类蜘蛛没有多大的意义,一旦发现这类蜘蛛爬行比较频繁,最好的方式就是禁止这些蜘蛛继续访问我们的网站。

原创:MAY的SEO博客 https://may90.com/share/ccbot.html 未经允许,请勿转载!

申请创业报道,分享创业好点子。点击此处,共同探讨创业新机遇!

作者: may90    /    文章:4篇

相关标签
搜索引擎蜘蛛

相关文章

  • 企业网站SEO优化好处,为何要操作互联网推广

    SEO优化全称搜索引擎优化,为何大中小企业都建议操作SEO优化推广,网站优化的意义何在?是提升关键词排名,增加网站收录量,还是品牌塑造和竞品突围?且听推推蛙慢慢道来。

    标签:
    企业网站优化
  • 网站优化需要注意的细节有哪些

    我们可以看到现在很多企业都在做网站SEO优化,在做优化的时候有很多细节是需要注意的,站长们都知道网站抓取频率的重要性,有时会遇到抓取频率比较低的网站,这会影响网站收录的,那么接下来具体为大家介绍一下网站优化的注意事项。

  • 百度搜索正式升级冰桶算法5.0

    从冰桶算法5.0升级通知解读看,这次冰桶算法5.0算法升级,核心点就一个,主要打击网站调起APP的行为,类似点击“阅读全文”强制跳转APP下载页和百度搜索结果中点击搜索结果调起APP都是打击的对象,直接点讲就是百度禁止网站出现在百度搜索结果页中点击搜索结果链接跳转到其他APP行为。

    标签:
    百度算法
  • 百度反推算法,又一次站长和百度之间的较量

    最近在站长圈里最火的莫过于百度反推算法,这个反推逻辑,也就是用结果反推过程,揭秘了百度收录的秘密。这个原理是什么?我们经过实际测试知道,百度投诉快照是可以引来蜘蛛的

榜单

热门排行

信息推荐

扫一扫关注最新创业资讯