‘如何屏蔽百度蜘蛛’泛目录屏蔽百度蜘蛛!

据国内相关媒体报道，今天收到了沉重的英镑信息，打开了淘宝关于百度蜘蛛的部分目录。所以我尝试快速打开淘宝机器人协议。否则，淘宝在百度开了7个目录。下图：

淘宝部分禁止百度蜘蛛

让我们看看。这次淘宝向百度开放的目录里有什么？

1、/article目录下全部是站点地图下的列表页。

2./oshtml目录中也以网站地图下的全球购买、购物爱等列表页面向百度开放。

3、/product目录中不幸的是，全部是403Fobidden页。(搜索引擎没有理由打开已经为403的页面，也没有理由专门写Robots协议，因此怀疑操作是错误的。）

4、对不起，在/Spu目录中找不到相应的页面。

5、/dianpu目录下的空欢喜，这不是店铺主页，而是繁体的台湾店铺列表页面。

6、/wenzhang目录下，都是淘宝头条下的文章，内容大多数是信息共享页面。

7，/oversea目录下不存在此目录。

Robots协议，是国际上搜索引擎对所有网站内容抓取的一个内容协议，通常来说，搜索引擎都必须遵守这个协议。

2008年马云做了一个异常霸气的决定，那就是淘宝在robo协议中屏蔽百度蜘蛛的抓取，这也就是为什么淘宝店铺无法通过百度搜索引起获得流量的原因，马云说百度搜索引擎带来的流量是垃圾量，没多少转化率。

淘宝今天对百度蜘蛛开放目录，显然不会是因为技术出错的原因，从上面的目录架构中可以看出，此次淘宝开放的目录大多是和文章资讯相关，而淘宝店铺之类的目录依然是屏蔽状态。