网站建设初始技术即网站在建立阶段，就必须全盘综合考虑的技术细节，因为后续在网站运营过程中再进行调整，会牵涉太多方面，甚至无法执行。
1.网站站点地图(Sitemap)的设置和技术细节
Sitemap是一种通知机制，就是通过创建一个文件的方式，把网站网页的URL提交给搜索引擎，在Sitemap中定义好页面的URL地址、权重、更新频率等。通过把Sitemap提交给搜索引擎，搜索引擎爬虫沿着Sitemap里面的链接地址进行爬行，这就是Sitemap的机制。
普通Sitemap文件的建立如下。通过XML的方式创建Sitemap，这是最常见也是最简单的一种方式。
网址
2015.01.03T04:20.08:00
always
1.O
网址
2015.01.02T20:20:36Z
daily
O.8
1.百度Sitemap
网页地址
2015-01-01
dafly
1.0
2.重要字段含义
・changefreq：指定提交的URL对应页面内容的更新频率，例如，daily、weeIdb，、monthly、yearly。这个参数用于设置搜索引擎页面变动的频率，即考量是否需要蜘蛛经常爬行并更新网页的内容。
・lastmod：当前页面内容最后的修改时间，这个参数可以给搜索引擎一个参考，就是时效性的参考，某些内容，特别是咨询类的，搜索引擎会将内容的更新时间作为排序的一个因子。
・priority：定义页面的权重，权重越高，相对于其他页面，当前页面的优先级越高。
・：用描述具体的链接地址，这里需要注意的是链接地址中的一些特殊字符必须转换为XML(HTML)定义的转义字符，简化版的
Sitemap也可以采用记事本方式，就是直接打开一个记事本，然后把URL填入，每个URL一行，然后直接提交搜索引擎，也能实现同样的目的。
3.超级门户的Sitemap模式
搜索引擎并不限定每个网站提交的Sitemap文件的个数，因此，如果网页
URL条目比较多，可以对新增的页面进行差额提交。
在创建多个Sitemap文件时，可以通过一个父Sitemap文件链接多个子
Sitemap文件，子Sitemap文件通过填充实际URL条目的模式完成，这样可以确保
每个Sitemap文件的URL条目不会特别多，建议一个Sitemap文件的URL条目不
要超过1000个。
下面是一个例子。
http://www.abc.com/sitemap1.xml.gz
http://www.abc.com/sitemap2.xml.gz
Sitemapl：
URLl
2015-01-01
daily
1.0
URL2
20 1 5..0 1.，0 1
daily
1.0
URL3
2015.01.01
dafly
1.0
URL4
20 l 5―0 1.0 1
daily
1.0
提交Sitemap的方式有多种，通常的做法是创建百度或者其他搜索引擎的站长账户，然后在站长后台把Sitemap的uRL提交上去，在站长后台可以看到每个Sitemap的处理进度和收录的数据。
2.Robots文件设置和技术细节
Robots.txt文件放在网站的根目录下，主要用于通知蜘蛛在该网站上的抓取范围，SEO可以在这个文件中声明该网站中不想被搜索引擎收录的部分，或者指定搜索引擎只收录特定的部分。
(1).经常使用到Robots.txt文件的情况
・网站升级，老版本网站的很多页面在新版本网站中去掉了，在这种情况下，可以通过Robots文件告诉蜘蛛不再抓取这些已经被去掉的页面。
・网站存在很多重复的内容，比如一个网站同时存在动态页面和已经经过静态化处理的页面，这些页面在内容上都是完全重复的内容，为了解决重复的问题，可以在Robots文件中禁止蜘蛛抓取动态页面。
・网站内部有些内容不便于公开发布，但是需要允许内部查阅。遇到这种情况，可以在Robots中告诉蜘蛛不要抓取。
(2).Robots文件的基本写法
User-agent：
Allow： /cgi.bin/see
Allow： /tmp/hi
Allow： /~joe/look
Disallow： /cgi.bin/
Disallow： /t.mp/
Disallow：|00e|
Allow是允许蜘蛛爬行的页面，而Disallow后面则是不允许蜘蛛访问的路径和文件。
3.Robots的使用示例
(1)仅允许访问某目录下某个后缀的文件。
这里仅允许访问带“$”符号的网址，如下。
User―agent：*
Allow：.asp$
Disallow：/
(2)禁止索引网站中所有的动态页面。
这里是限制访问带“?”的网址，例如，index.asp?id=1。
User―agent：*
DisallOW：/*?*
(3)使用“*”，限制访问带某个后缀的域名。
这里是禁止访问admin目录下所有htm文件，如下。
User―agent：*
DisaUow：/admin/*.htm
本文由领创网络菏泽网站建设https://www.lingchuangweb.com/ 原创文字，版权所有，转载请注明出处，并保留本链接，谢谢!
申请创业报道，分享创业好点子。点击此处，共同探讨创业新机遇！
