robots怎么写,robots怎么写有助于seo

('Robots文件是SEO很重要的一部分，是一个网站优化首先必备的，也是我们与搜索引擎蜘蛛对话的一个“桥梁”，那么如何设置好robots文件显得至关重要，我们都知道蜘蛛来访问一个网站的时候，首先访问的是你网站根目录下robots文件，根据协议给出的权限来抓取一个网站，若没有，就代表搜索引擎能够抓取任何内容，所以协议的写法也是一把优化的利器。以下以我博客站作为一个简单的说明：1、User-agent：这是一个通配符，用来说明适合所有的蜘蛛都能抓取，若是只是准许某个蜘蛛抓取，将通配符换成其他蜘蛛的符号就可以了。2、Disallow：/wp-admin/Disallow：/wp-content/Disallow：/wp-includes/屏蔽蜘蛛抓取网站的程序文件，同时也能够节奏资源，让蜘蛛抓取有用的资源。3、Disallow：/?s=Disallow：//?s=这个就不用解释了，屏蔽捉取站内搜索结果。站内没出现这些链接不代表站外没有，如果收录了会造成和TAG等页面的内容相近。4、Disallow：/.jpg$Disallow：/.jpeg$Disallow：/.gif$Disallow：/.png$Disallow：/.bmp$屏蔽捉取任何图片文件，在这里主要是想节约点宽带，不同的网站管理员可以按照喜好和需要设置这几条指令。5、Disallow：/a/date/Disallow：/a/author/Disallow：/a/category/Disallow：/?p=&preview=trueDisallow：/?page_id=&preview=trueDisallow：/wp-login.php屏蔽其他的一些形形色色的链接，a目录下面的都是一些网站后台文件，不要让蜘蛛去抓取，避免造成重复内容和隐私问题。最后在协议的最后可以写上Sitemap:http://.com/sitemap.xml用来告知蜘蛛我们的网站地图，更加有利于蜘蛛抓取我们网站的内容，设置完成后，我们可以百度站长平台监测下robots协议设置的是否正确。',)