关键词优化 > SEO网站排名优化服务 > 网站robots.txt文件应该放在什么地方?

网站robots.txt文件应该放在什么地方?

  • 时间:2017-05-02
  • 浏览:

  新网站搭建成功以后正式上线前需要给网站写robots.txt文件,简单的引导搜索引擎蜘蛛爬取网站重要页面。那么重要的问题来了,网站的robots.txt文件应该放什么位置呢?

  写好的网站robots.txt文件是需要放到网站程序根目录下面,并不是空间的根目录。

  

 

  Robots.txt文件怎么上传?

  网站robots.txt文件可以通过FTP、空间服务商后台以及网站后台程序进行上传。

  robots.txt文件的格式

  User-agent:

  该项的值用于描述搜索引擎robot的名字,在"robots.txt"文件中,如果有多条User-agent记录说明有多个robot会受到该协议的限制,对该文件来说,至少要有一条User-agent记录。如果该项的值设为*,则该协议对任何机器人均有效,在"robots.txt"文件中,"User-agent:*"这样的记录只能有一条。

  Disallow :

  该项的值用于描述不希望被访问到的一个URL,这个URL可以是一条完整的路径,也可以是部分的,任何以Disallow 开头的URL均不会被robot访问到。例如"Disallow: /help"对/help.html 和/help/index.html都不允许搜索引擎访问,而"Disallow: /help/"则允许robot访问/help.html,而不能访问/help/index.html。

  关于Robots.txt文件写法及注意事项可以参大米的另一篇文章《网站robots.txt怎么写?Robots文件标准写法及注意事项》,在那篇文章里有着更加详细和全面的介绍!

大米网络成立于2015年2月,网罗了大批国内顶尖的网络推广团队成立网络推广工作室,主要服务包括关键词排名优化、整站seo外包、品牌网络推广、企业网站建设等,旨在为众多商家在互联网中获取更精准的流量,实现互联网推广营销的目的。