一键部署OpenClaw

        我的个人站是用z-blog建的站，最近我发现很多的z-blog站长都不知道应该怎么设置自己的robots，其实robots设置对网站优化来说还是非常重要的。创建 robots.txt 文件，可以不让搜索蜘蛛抓取你的网站的部分目录或者文件。  对于一个网站来说并非抓取的目录和文件越多越好，因为不是所有的文件都需要被搜索引擎抓取。

        以下几种情况有足够的理由告诉我们robots设置的重要性：

        有些文件根本没有关键词或文本，比如本站的这个页面cmd.asp。
        一般情况下，站内的搜索结果页面用robots设置屏蔽掉更好，比如本站的sreach.asp
        网站后台管理页面，不希望被用户搜索到引来不必要的麻烦，也需要用robots设置屏
        网站改版或url重写时原来不符合搜索引擎友好的链接都需要用robots设置屏蔽掉
        相似度太高的页面，不符合搜索引擎的“网站相似度规则”，也可以用robots设置屏蔽掉

        以下是我的个人站的robots设置规则,希望能够起到抛砖引玉的作用：

        ## robots.txt for dikeyao
        # Version 4.0.0#User-agent: *
        # Directories
        Disallow: /FUNCTION/
        Disallow: /CACHE/
        Disallow: /XML-RPC/ Disallow: /SCRIPT/
        Disallow: /ADMIN/
        Disallow: /CSS/
        Disallow: /LANGUAGE/
        Disallow: /DATA/
        Disallow: /THEMES/
        Disallow: /INCLUDE/
        #Files
        Disallow: /wap.asp
        Disallow: /cmd.asp
        Disallow: /c_option.asp
        Disallow: /c_custom.asp
        #Sitemap
        Sitemap:

         # Directories 以下是需要屏蔽的目录
        #Files以下是需要屏蔽的文件
        #Sitemap如果网站有sitemap.xml最后还可以加上sitemap语句。
        Nrobots设置规则可以参考：google管理员工具robots设置指南
        z-blog的用户还可以参考一些行业中比较有名的博客，比如月光博客，方法很简单就是在网址后边有加上robots.txt即可（robots.txt在根目录下），; ，同理查看其它网站robots设置也用此方法。

申请创业报道，分享创业好点子。点击此处，共同探讨创业新机遇！