投稿
  1. 创客网首页
  2. 未分类

robot.txt 的作用

卧龙涤生 • • 未分类 • 阅读 1188

Robots协议用来告知搜索引擎哪些页面能被抓取，哪些页面不能被抓取；可以屏蔽一些网站中比较大的文件，如：图片，音乐，视频等，节省服务器带宽；可以屏蔽站点的一些死链接。方便搜索引擎抓取网站内容；设置网站地图连接，方便引导蜘蛛爬取页面。

原创文章，作者：卧龙涤生，如若转载，请注明出处：https://www.chuang-ke.com/1493

赞 (0)
卧龙涤生卧龙涤生
0 2
上一篇 2014年8月27日 上午12:43
下一篇 2014年8月31日 上午8:56

相关推荐

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注

评论列表（2条）

  • 新用户847741
    新用户847741 2017年4月20日 上午12:47

    文慧；即便是空欢喜一场，我仍然感激你，我的世界里你曾出现过。

    回复
  • 新用户614466
    新用户614466 2017年5月5日 上午1:33

    千呼万唤始出来《天天飞车》快赐予我先锋测试资格让我体验无尽的爽快吧！QQ号836715963

    回复
创客交流群