按照雅虎官方的解释，如果我们想要禁止雅虎搜索网站内容，在我们的服务器的根目录中放置一个 robots.txt 文件，加入以下内容：
User-Agent: *
Disallow: /
因为以上是大部分网络搜索程序都会遵守的标准协议，加入这些协议后，不仅雅虎搜索无法抓取网站内容，其他搜索程序都不会再抓取我们的网络服务器或目录。
所以网智成建议您，应慎重选择，我们可以写成这样:
User-Agent: Googlebot
Disallow:
User-Agent: *
Disallow: /
这样写就是只有名为Googlebot的爬虫可以抓网站所有的内容，雅虎搜索和其他搜索引擎的爬虫都不能抓取网站的所有内容。
或者
User-agent: slurp
Disallow: /
只禁止雅虎的"slurp"搜索引擎蜘蛛的抓取。
申请创业报道，分享创业好点子。点击此处，共同探讨创业新机遇！
关于论坛站这方面，不仅是国内的论坛在逐渐失去存在意义，国外的论坛也是一样，都是在逐渐的淘汰中。不论你以前多火!随着互联网新兴产品的不断涌出，论坛基本没流量了，有认识的站长表示现在想靠着论坛站赚钱连主机钱都不够，论坛真的不适合这个时代了!
据外媒消息，之前雅虎日本关闭与苹果应用商店(AppStore)竞争的某游戏平台，因涉嫌反竞争行为,日本监管机构对苹果展开调查。雅虎最大的股东日本软银集团也已介入调解。
1.Firefox抛弃Google雅虎成默认搜索引擎雅虎与Mozilla两家公司今日宣布签订5年合约，雅虎将成为美国火狐浏览器PC和移动端的默认搜索引擎;而此前火狐搜索一直靠Google来完成。此外，今年12月，雅虎还将面向火狐用户推出增强版搜索，同时也将支持火狐的不被跟踪(DoNotTrack)功
1.揭秘网络“水军”：转发一条微博报酬五千多汪俊(化名)的微博号主要以娱乐评论为主，粉丝已超过60万。上周他通过新浪微博的微任务平台接到一条任务。任务发起方为国内某知名手机品牌，要求转发内容为：“XX用户不要笑话XX的‘水军’好吗?#看微博更看评论#”。就是这么短短一句话的微博转发任务，报酬竟然达5
1、雅虎宣布CEO汤普森离职大幅调整董事会结构新浪科技北京时间5月14日早间消息，雅虎今天宣布，该公司CEO斯科特汤普森(ScottThompson)因学历造假事件辞职，董事会主席罗伊博斯托克(RoyBostock)亦将离任。雅虎今天宣布，公司董事会已任命弗雷德阿莫罗索(FredAmoros
