我不是很赞同这种做法，因为每个网站的页面都有不同的优先级。
并且我们应该让蜘蛛知道哪些页面需要认真对待，哪些页面只要一扫而过。
当网站收录数越来越多，蜘蛛每天爬行的页面数也越来越多，但是在固定的一段时期，蜘蛛每天爬行的页面总数是固定，例如，易价网去年12月百度每天爬取2w，今年3月每天爬取3w,
所以提高蜘蛛的爬行效率是资深SEO专家必须要认真对待的事情。
下面举个实例：
易价网有组页面（一个cgi)里包含了当当网的介绍和他的一本书的价格，
另一个页面里也包含了当当网同样的介绍和他另一本书的价格。
两个页面不同的地方非常微小。
但是搜索引擎两个页面都会抓取。（居然没判定为重复页，呵呵）
这样的雷同页被收录了几万个，虽然收录数大大提高，但是通过事后的数据观测发现，这些页面带来的SEO流量非常低（远远没有针对某个产品的细化页面效果高），并且很多页面只抓取、不收录。然而蜘蛛依然每天勤奋地爬取，抢占这2w个页面中20%的有限名额。造成了极大浪费。
于是，我把这些以前静态化的链接全部301永久重定向回动态化链接，（搜索引擎一般不会收录），浪费也因此逐渐减少，更优秀的产品比价页面得到了爬虫更多的青睐。
下面介绍一下我对链接建设的看法，主要还是参考了百度自己网站的做法，模范百度应该不会错到哪里去吧，呵呵。
主页地址为 '/',记住，不要写成 /index.html活着 ’/index.cgi '等
接着是以不同的cgi或php划分路径。
例如:
价格比较页面
详细规格页面
产品评论页面
以此类推
一般链接到第二层就可以了，再多可能会不太好（无法用数据保证，呵呵）
对于有层次感的页面，路径需要可以递归，例如
笔记本页面
联想笔记本页面
这篇文章推荐看下，呵呵
SEO:百度蜘蛛会递归url路径
申请创业报道，分享创业好点子。点击此处，共同探讨创业新机遇！
