欢迎访问泉州市科伟信息咨询有限公司官方网站 服务热线:0595-22555555 / 13850720555 在线咨询

robots.txt文件正确写法与配置指南

robots.txt是存放在网站根目录下的一个纯文本文件,是网站管理员和搜索引擎蜘蛛之间的协议文件,用来告诉搜索引擎哪些页面可以抓取、哪些页面不允许抓取。几乎所有搜索引擎蜘蛛都会首先访问网站根目录下的robots.txt文件,按照文件规则来抓取网站内容。正确配置robots.txt可以引导蜘蛛优先抓取网站重要页面,避免重复抓取无用页面,提升网站收录效率和权重集中度。

robots.txt文件内容示例

robots.txt的基本语法很简单,主要包含User-agent、Disallow、Allow、Sitemap几个指令。User-agent用来指定针对哪个搜索引擎蜘蛛生效,User-agent: * 表示对所有搜索引擎蜘蛛生效;Disallow用来指定不允许抓取的路径,比如Disallow: /admin/ 表示禁止抓取后台目录;Allow用来指定允许抓取的路径,通常和Disallow配合使用;Sitemap用来指定网站sitemap地图文件的地址,方便蜘蛛快速找到网站地图。需要特别注意的是,robots.txt文件名必须全部小写,必须放在网站根目录下,路径必须正确,否则无法生效。

企业网站robots.txt标准写法

普通企业官网的robots.txt配置相对简单,标准写法参考如下:首先User-agent: * 对所有蜘蛛生效;然后Disallow: /admin/ 禁止抓取后台管理目录;Disallow: /include/ 禁止抓取程序包含文件目录;Disallow: /temp/ 禁止抓取临时文件目录;Disallow: /*?* 禁止抓取带参数的动态URL(纯静态网站不需要);Allow: / 允许抓取其他所有路径;最后Sitemap: https://www.chinakewei.net.cn/sitemap.xml 指定网站地图地址。需要特别注意的是,不要把重要页面路径写在Disallow里,否则会导致页面不被收录。很多企业网站robots.txt配置错误,禁止了蜘蛛抓取整个网站,导致网站完全不被收录,这是非常严重的错误。

robots配置常见误区

科伟信息SEO顾问指出,很多网站管理员在配置robots.txt时容易犯几个错误:一是认为robots.txt可以用来保护隐私或防止黑客攻击,实际上robots.txt只是一个君子协议,正规搜索引擎会遵守,但恶意蜘蛛和黑客根本不会理会,真正需要保密的内容应该设置密码保护或放在Web根目录之外,不能仅靠robots.txt禁止访问;二是路径写法错误,路径末尾加斜杠和不加斜杠含义不同,/admin/表示禁止抓取admin目录下所有内容,/admin表示禁止抓取所有以admin开头的路径;三是配置完robots.txt后要到百度搜索资源平台进行robots验证,确认规则正确没有错误;四是不要在robots.txt里写敏感路径,否则反而会告诉黑客敏感目录在哪里。

本文为泉州市科伟信息咨询有限公司原创文章,转载请注明出处。如有网站SEO诊断相关需求,欢迎致电咨询:0595-22555555。

上一篇:网站图片SEO优化技巧与alt属性正确写法...下一篇:网站sitemap.xml制作方法与提交技巧...