石家庄seo优享网为您提供网站源码下载,dedecms,wp主题下载,seo软件工具,以及seo教程分享。点击这里给我发消息

什么是robots文件?robots文件怎么写?

seo教程 资源分享网 30℃ 0评论

robots又叫robots协议,常见的robots文件是txt文件,他是网站与搜索引擎之间的一种协议,今天我们一起聊一下robots文件。

简单来说robots文件基本都会选择放到网站的根目录下的,可以说搜索引擎爬虫来你的网站之前是一定要先去robots文件看看哪些文件应该去抓取,哪些不应该爬。例如,我们存放文章的文件当然希望蜘蛛多多的去抓取,而我们网站的后台,甚至账号密码是一定要禁止蜘蛛去抓取的,这样网站才更安全。

robots文件

robots文件

目前很多工具都有robots文件书写功能,常见的robots文件书写如下:

User-agent: *      代表所有搜索引擎蜘蛛

Disallow: /*?*       表示不允许抓取带?的文件路径

sitemap:https://www.xxxx.com/sitemap.xml    sitemap地址

解释:

User-agent:搜索引擎蜘蛛

* :通配符,代表所有

Disallow:不允许抓取

/*?*:链接里包含?的文件(多为动态链接)

sitemap:https://www.xxxx.com/sitemap.xml(网站地图,利于蜘蛛爬行)

转载请注明:石家庄seo_网络推广_seo工具下载_网站源码下载 » 什么是robots文件?robots文件怎么写?

喜欢 (0)or分享 (0)
发表我的评论
取消评论

表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址