【推荐】海外独服/站群服务器/高防

由于雅虎搜索对于网络抓取采取大量系统，因此，我们的网络服务器会从不同的YST(雅虎搜索技术)抓取程序的客户端IP地址登录请求。不同的抓取程序系统彼此配合，来限制任何来自单一网络服务器的活动。所谓单一网络服务器，是由IP地址判断的。因此，如果我们的服务器主机拥有多个IP，它的活动则会处于更高的级别。

YST有一个特定的扩展名，在我们的服务器根目录下的robots.txt里可以应用，通过它可以对雅虎搜索的抓取程序设定一个较低的抓取请求频率。可以在robots.txt里加入Crawl-delay:xx的指示，其中，“xx”是指在crawler程序两次进入站点时，以秒为单位的最低延时。如果crawler频率对我们的服务器是一个负担，我们可以将这个延时设定为任何恰当的数字，例如50或200。

例如：我们想要设定一个5秒的延时，可以在robots.txt里加入以下语句 ：

User-agent: Slurp

Crawl-delay: 5

也可以设定更长时间的延时，在此网智成不再赘述。

申请创业报道，分享创业好点子。点击此处，共同探讨创业新机遇！