新坑连载19：我是如何用robots.txt文件控制网站收录数量的？

227 阅读 0 评论 2 点赞

打个广告，最后2个优惠名额，课程介绍：100+自制视频，7份奖金，这是我带给这份课程的诚意 - 课程正式报名

谷歌的算法现在变得更加谨慎，对网站的质量要求也越来越高，网站收录的页面数量越多，你的排名不一定的变得更高，反而变得很差。

这是因为谷歌要控制整个互联网抓取的数量，这么多数据，它自己处理起来也费劲，成本也高。

于是有用的内容算法，核心算法，垃圾算法都纷纷而来，如何一部分页面是低质量的没，那么整个站也会收到牵连。

因此我们必须要控制收录的网页数量，那么核心就是：只收录要排名的，有用的内容。

对于电商站，有用的内容就是产品页，分类页，首页，其他页面。（政策、关于我们，活动等）

谷歌GSC，也叫谷歌站长工具有专门的索引报告：

但是我发现，我才上传了150个产品，加上文章50篇，也没有1000多个页面啊，这是怎么回事？

于是检查已收录的页面：

domian.com/?blackhole=41c654ea9b

domian.com/?&filter_color=black,gold,grey,pink,purple,red,yellow

原来是有很多带参数的链接被收录了，也就是？后面的一堆东西。

第一个blackhole，

这是一个插件，用来屏蔽无良的爬虫。

第二个?&filter_color=black，

这是一个主题功能，客户可以用来过滤颜色以及其他属性。这样导致的结果就是带参数的url无穷无尽。

虽然过滤功能对客户来说很有用，但是这对搜索引擎帮助不大，不应该被收录。因此，我们可以先用robots.txt 协议来解决它。robots.txt 是一个文件，指导爬虫应该遵循什么规则。

但是这不是强制的，爬虫仍然可以忽略规则爬取。但是大部分的搜索爬虫，AI爬虫还是遵守规则的。

因此我们可以来用这个控制爬虫，再加上我们自己是WP建站，本身安全性就比Shopify差一些。还是需要做安全防护的。

分享一下，我目前WP站的robots.txt 规则：

User-agent: *Disallow: /wp-admin/Disallow: /wp-includes/Disallow: /wp-content/plugins/Disallow: /wp-content/themes/Disallow: /wp-content/uploads/wc-logs/Disallow: /wp-content/uploads/woocommerce_transient_files/Disallow: /wp-content/uploads/woocommerce_uploads/Disallow: */feed/Disallow: */comments/Disallow: /wp-login.phpDisallow: /readme.htmlDisallow: /?s=*Disallow: /*?*Disallow: /*blackholeDisallow: /?blackholeAllow: /wp-admin/admin-ajax.php