${article.title}_${category.caption}_北京云无限科技有限公司
您可能喜欢
您的位置:首页 > 新闻资讯 > robots文件是做什么用的?

robots文件是做什么用的?

时间:2022-01

  网站优化的时候,优化师会为网站添加上robots文件,robots文件是做什么用的?robots文件是告诉搜索引擎蜘蛛这个地址是网站地图,如果我们有网站隐私文件要屏蔽搜索引擎蜘蛛不让其抓取时,可以在robots.txt中写上路径地址,并且我们可以在robots文件中添加Sitemap网址,帮助网站的抓取机会。

  robots文件示例:

  User-agent: *

  Disallow: /bin/

  Sitemap: https://www.zhongtao.net/sitemap.xml

  有页面不想被搜索引擎收录我们可以是用robots meta标签来解决,robots.txt文件主要是限制整个站点或者目录的蜘蛛访问,而robots meta标签则主要是针对某个具体的页面,此标签放在页面中,专门用来告诉搜索引擎蜘蛛如何抓取该页的内容。

  我们接下来看看robots meta标签有几种使用方式:

  1.在content部分robots meta标签有4个指令选项,分别是:index、follow、noindex、nofollow。

  follow 指令表示搜索引擎蜘蛛可以爬行该页面上的链接。

  notollow 指令与 follow指令相反,表示搜索引擎蜘蛛不可以爬行该页面上的链接。

  index 指令告诉搜索引擎蜘蛛可以抓取该页面。

  noindex 指令与index指令相反,表示搜索引擎蜘蛛不可以抓取该页面。

  2. robots meta标签中,name="robots"表示所有的搜索引擎,也可以针对某个具体的搜索引擎。


网站优化
云无限CLOUD INFINITY
北京云无限科技公司专注企业网站建设、网站定制开发和搜索引擎优化服务。 服务热线:18601360098 / 18810118859
北京云无限科技有限公司
联系我们
  • 地址:北京市朝阳区东四环中路39号,华业国际中心B座320室
  • 电话:010-53362051 010-53362052
  • 手机:18701131950 18810118839
京ICP备15022936号-15
京ICP备15022936号-15