当我们成都网站建设的网站刚上线后，都希望网站被尽快收录，于是会去吸引蜘蛛的到来，蜘蛛到来的频率过高有时候会导致iis资源耗尽，网站中时常数出现service unavoidable的提示，这个词的出现可以直接表现为访问量很小。
是蜘蛛的到来引起我们网站资源的缺乏，是蜘蛛耗尽服务器资源的，所以我们的解决办法就针对蜘蛛进行。利用robots.txt中的disallow屏蔽部分没有实际意义的内容。
格式如下：
user-agent:*
disallow:/search.html
disallow:/index.php?
disallow:/tempweb/
说明：
user-agent:*： *代表允许所有的搜索引擎来抓取数据。
disallow:/search.html：不允许收录/search.html这个文件的数据。
disallow:/index.php?：不允许收录以/index.php?为前缀的链接。
disallow:/tempweb/：不允许收录/tempweb/里所有的文件，但可以收录如：/tempwebtaim.html的链接。