什么是robots？如何设置robots？

('什么是robots？如何设置robots？robots是位于网站根目录的一个TXT文本文件，主要的作用是告诉搜索引擎那些页面可以抓取，那些页面不可以抓取。一、robots定义：robots是网站和搜索引擎爬虫之间的协议，当搜索引擎爬虫爬取一个网站之前，第一先访问该网站有没有robots协议，如果有按照设置的robots协议进行对网站的抓取，如果没有默认网站所有页面都可以被抓取。搜索引擎通过一个程序（搜索引擎蜘蛛），自动获取互联网上数亿的网页，经过分析和对比，筛选出质量优质的网页，进行收录和索引，最后得到网页的排名，用户查询关键词就可以访问到被收录的网页。所以在网站的根目录创建一个robots协议用来告诉搜索引擎，网站这个页面可以被抓取，那个网页不让抓取。可以说robots协议是对搜索引擎蜘蛛的行为设定了要求。二、robots注意事项网站所有的内容都可以让搜索引擎抓取，我就不设置robots文件这是不对的，每次搜索引擎蜘蛛来到网站访问robots文件都会生成一个404页面，网页不存在，对网站有不好的影响。这种的可以在网站根目录放一个空的robots文件，什么都不写就可以了。设置所有网页都让搜索引擎抓取，可以增加收目率这个想法也是错误的，搜索引擎对html文件情有独钟，对JS、框架等文件很是排斥。网站的脚本文件、样式表等可以选择屏蔽，浪费服务器资源还得不到好处。蜘蛛抓取浪费服务器资源，在robots协议中屏蔽所有搜索引擎这样就把搜索引擎蜘蛛屏蔽了，搜索引擎蜘蛛不会抓取网站内的内容，也不会有收录robots文件需要放置到网站的根目录，url格式域名+robots.txtrobots文件可以放置网站地图的链接，搜索引擎蜘蛛每次到网站首先访问的就是robots文件，所以放上网站的网站地图，有利于搜索引擎蜘蛛发现更多的链接。robots文件必须是小写命名三、robots协议的设置robots文件的设置有两种参数，一个允许，一个拒绝。robots文件中有一条或多条声明，robots文件中可以用“#”进行注释。通常robots文件以一条或多条User-agent开始，之后有多行Disallow和多行Allow。',)