• 提问
  • 当前位置:首页 > SEO服务 > 网站robots.txt文件应该放在什么地方?

    网站robots.txt文件应该放在什么地方?

    大米头像
    创始人 大米
    2017-05-02 18:29 阅读 专题

      新网站搭建成功以后正式上线前需要给网站写robots.txt文件,简单的引导搜索引擎蜘蛛爬取网站重要页面。那么重要的问题来了,网站的robots.txt文件应该放什么位置呢?

      写好的网站robots.txt文件是需要放到网站程序根目录下面,并不是空间的根目录。

      

     

      Robots.txt文件怎么上传?

      网站robots.txt文件可以通过FTP、空间服务商后台以及网站后台程序进行上传。

      robots.txt文件的格式

      User-agent:

      该项的值用于描述搜索引擎robot的名字,在"robots.txt"文件中,如果有多条User-agent记录说明有多个robot会受到该协议的限制,对该文件来说,至少要有一条User-agent记录。如果该项的值设为*,则该协议对任何机器人均有效,在"robots.txt"文件中,"User-agent:*"这样的记录只能有一条。

      Disallow :

      该项的值用于描述不希望被访问到的一个URL,这个URL可以是一条完整的路径,也可以是部分的,任何以Disallow 开头的URL均不会被robot访问到。例如"Disallow: /help"对/help.html 和/help/index.html都不允许搜索引擎访问,而"Disallow: /help/"则允许robot访问/help.html,而不能访问/help/index.html。

      关于Robots.txt文件写法及注意事项可以参大米的另一篇文章《网站robots.txt怎么写?Robots文件标准写法及注意事项》,在那篇文章里有着更加详细和全面的介绍!

    预约SEO专家 添加微信号:dami558领取免费网站seo诊断方案
    @著作权归作者所有
    大米网络简介
    大米创始人
    7年互联网推广实战经验,专注于网站关键词排名优化与互联网品牌推广营销。
    做过白帽、搞过劫持、研究过搜索引擎算法排名原理,拥有数百站点为优化网站提供外链资源(非站群),一个剑走偏锋的seoer,想正经的搞点事情。