聚美优品robots.txt解读

1. 全部代码展示

User-agent: *
Disallow: /i/cart/
Disallow: /i/order/list
Disallow: /i/membership
Disallow: /search=*
Allow: /i/deal/deals?filter=-0-0-0
Disallow: /?filter=*
Disallow: /i/deal/deals?filter=*
Allow: //page/?sort=popular_desc
Disallow: /?sort=
Disallow: /*track.php
Disallow: /track_cps.php
Disallow: /redirect=
Disallow: /i/Deal/list_comments
Disallow: /i/deal/list_comments
Disallow: /?site_name=
Disallow: /i/deal/deals?product_id=*
Disallow: /i/deal/mobile_subscribe/?id=*
Disallow: /ltfront.php
Disallow: /i/extconnect/
Disallow: /i/account/jump_to_referer/
Disallow: /i/account/pre_login/
Disallow: /i/account/login/
Disallow: /opt=*
Disallow: /team.php
Disallow: /k/
Disallow: /i/deal/121129.html?from=*
Disallow: /i/deal/121130.html?from=*
Disallow: /i/deal/1212.html?from=*
Disallow: /?referer
Disallow: /?referer=
Disallow:/?refer=
Disallow: /?r=
Disallow: /?utm_source
Disallow: /?utm_source
Disallow: /i/help/*
Disallow: /i/r

2. 特征代码解读

3. 浅谈商业策略与合作

    聚美优品允许所有机器人进行访问，禁止的命令主要包括客户个人隐私信息部分(登陆信息、购物车信息、订单下的列表信息)和商业数据部分（动态搜索页面、交易页面、评价列表）。较好的保护了客户隐私。但是由于同类产品竞争的关系，我认为应该会有相关爬虫被禁止，例如比价相关爬虫。允许爬取部分可以给网站带来客户、增加网站流量。合理禁止相关爬虫和特定网页的爬取可以更好的保护用户信息和相关交易的隐私数据。