投稿
  1. 创客网首页
  2. 未分类

magento robot.txt文件的编写规则

卧龙涤生 • • 未分类 • 阅读 1637

# Google Image Crawler Setup
User-agent: Googlebot-Image
Disallow:

# Crawlers Setup
User-agent: *

# Directories
Disallow: /404/
Disallow: /app/
Disallow: /cgi-bin/
Disallow: /downloader/
Disallow: /errors/
Disallow: /includes/
Disallow: /js/
Disallow: /lib/
Disallow: /magento/
Disallow: /media/
Disallow: /pkginfo/
Disallow: /report/
Disallow: /scripts/
Disallow: /shell/
Disallow: /skin/
Disallow: /stats/
Disallow: /var/

# Paths (clean URLs)
Disallow: /index.php/
Disallow: /catalog/product_compare/
Disallow: /catalog/category/view/
Disallow: /catalog/product/view/
Disallow: /catalogsearch/
Disallow: /checkout/
Disallow: /control/
Disallow: /contacts/
Disallow: /customer/
Disallow: /customize/
Disallow: /newsletter/
Disallow: /poll/
Disallow: /review/
Disallow: /sendfriend/
Disallow: /tag/
Disallow: /wishlist/
Dissalow: /catalog/product/gallery/

# Files
Disallow: /cron.php
Disallow: /cron.sh
Disallow: /error_log
Disallow: /install.php
Disallow: /LICENSE.html
Disallow: /LICENSE.txt
Disallow: /LICENSE_AFL.txt
Disallow: /STATUS.txt

# Paths (no clean URLs)
Disallow: /*.js$
Disallow: /*.css$
Disallow: /*.php$
Disallow: /*?SID=

原创文章，作者：卧龙涤生，如若转载，请注明出处：https://www.chuang-ke.com/1538

赞 (0)
卧龙涤生卧龙涤生
0 4
上一篇 2014年9月13日 下午6:50
下一篇 2014年9月15日 下午10:43

相关推荐

回复 新用户201411

您的电子邮箱地址不会被公开。 必填项已用*标注

评论列表（4条）

  • 新用户036569
    新用户036569 2017年4月20日 上午12:47

    手机浏览器应该是越简单越好,弄那么花哨大概只有视觉系才会喜欢.

    回复
  • 新用户036569
    新用户036569 2017年4月20日 上午12:47

    手机浏览器应该是越简单越好,弄那么花哨大概只有视觉系才会喜欢.

    回复
  • 新用户201411
    新用户201411 2017年5月5日 上午1:33

    看到这么多X 我就放心了

    回复
  • 新用户201411
    新用户201411 2017年5月5日 上午1:33

    看到这么多X 我就放心了

    回复
创客交流群