网站上无意义的页面,低质量或特殊的页面,可以设置机器人元标记告知谷歌蜘蛛这个页面不接受爬取或索引,在页面<head> 使用meta robot nofollow或noindex标记。
两个主要设置:
index / noindex:是否允许爬虫索引页面,指示 Google 是否要在 Google 搜索结果中显示此网页
-
follow / nofollow:是否允许爬虫爬取页面,是否允许跟踪页面上的任何链接
(理解这两句话,这篇文章就不用看了的。)
添加方法:
在<head>里添加
1. 告知所有抓取工具这个页面不需要抓取和索引:
<meta name="robots" content="noindex, nofollow">
2. 告知所有抓取工具这个页面需要抓取和索引:
<meta name="robots" content="index, follow">
3. 告知所有抓取工具这个页面不允许索引,但可以抓取页面上的任何链接:
<meta name="robots" content="noindex, follow">
4. 告知所有抓取工具这个页面允许索引,但不可以抓取页面上的任何链接:
<meta name="robots" content="index, nofollow">
Tips: 默认情况下,两者都设置为“true”,因此如果您对此没有问题,则无需设置此标签。
备注:
1. name 属性的值 (robots) 指定此指令适用于所有抓取工具,包括搜索引擎和非搜索引擎抓取工具。如需针对特定的抓取工具,可将 name 属性的 robots 值替换为这个抓取工具的名称。如:
只想阻止 Google 将您的网页编入索引,可撰写为:
<meta name="googlebot" content="noindex">
2. 如需屏蔽非搜索抓取工具(例如 AdsBot-Google),可添加针对具体抓取工具的指令,例如 :
<meta name="AdsBot-Google" content="noindex">。
3. robots nofollow与链接级别属性不同,链接级别nofollow属性会阻止 Googlebot 跟踪单个链接,使用 rel="nofollow",如下图:
4. disallow: 应用在robots.txt中,告诉搜索引擎不要抓取这个网页,但这并不能保证该页面不会被索引。
5. Google 抓取工具(用户代理):
Googlebot(桌面版):Googlebot
Googlebot(智能手机版):Googlebot
Googlebot Video:Googlebot-Video 或 Googlebot
Googlebot News:Googlebot-News 或 Googlebot
-
Googlebot Image:Googlebot-Image 或 Googlebot
AdsBot: 检查桌面版网页广告质量。(会忽略 * 通配符)
AdsBot Mobile Web Android: AdsBot-Google-Mobile 检查 Android 网页广告质量。(会忽略 * 通配符。)
AdsBot Mobile Web: AdsBot-Google-Mobile 检查 iPhone 网页广告质量。(会忽略 * 通配符)
-
AdSense: Mediapartners-Google
Mobile AdSense: Mediapartners-Google
Mobile Apps Android: 检查 Android 应用页面广告质量。遵循 AdsBot-Google 漫游器规则。(会忽略 * 通配符)
-
APIs-Google: APIs-Google
Google StoreBot: Storebot-Google
Google Favicon: Googlebot-Image / Googlebot
-
Google Read Aloud: Google-Read-Aloud(不会遵循 robots.txt 规则)
Feedfetcher: FeedFetcher-Google(不会遵循 robots.txt 规则)
-
Google 网站验证工具:Google-Site-Verification(会忽略 robots.txt 规则)
第5点以后出篇详细的文章。
文章为作者独立观点,不代表DLZ123立场。如有侵权,请联系我们。( 版权为作者所有,如需转载,请联系作者 )
网站运营至今,离不开小伙伴们的支持。 为了给小伙伴们提供一个互相交流的平台和资源的对接,特地开通了独立站交流群。
群里有不少运营大神,不时会分享一些运营技巧,更有一些资源收藏爱好者不时分享一些优质的学习资料。
现在可以扫码进群,备注【加群】。 ( 群完全免费,不广告不卖课!)
发表评论 取消回复