大家好!我是SEO小平,SEO捕鱼大师,9年独立站卖家,一直从事各个国家本土语言的独立站SEO实操。加SEO小平微信的直接复制 Xiao_Ping_Up ,或者文末扫描二维码
今天我们公司小伙伴说看到谷歌GSC的收录数据提示WebP图片都是已抓取-尚未编入索引,她打算直接用robots.txt 阻止掉所有WebP的爬取,你们说能这样做吗?

截图来源:danielkcheung.com
其实这个问题困扰我们也很多年了,一直没办法彻底解决这个问题。今天我也互联网查询了很多资料,最后搞明白了,这TM是GSC这个工具的Bug。
主要参考资料来源:
参考一:
https://www.danielkcheung.com/why-are-webp-and-webm-files-showing-up-as-crawled-currently-not-indexed-in-search-console/
参考二:谷歌官方John Mueller 的解释
https://www.searchenginejournal.com/googles-john-mueller-clarifies-webp-image-indexing-confusion/485844/
SEO小平把这些内容总结如下:GSC报错的原因是因为在GSC收录板块的【页面】里面看索引的数据,但是实际Webp不是HTML页面,所以从HTML页面的角度来判断他是不索引的

这个现象的根源在于我们查看 GSC 报告的 页面视角。该报告主要关注的是 HTML 网页 的索引情况。当 WebP 图片 URL 出现在这里并显示“未索引”时,并不意味着它作为图片资源没有被 Google 处理。更重要的是,理解这一点能帮助我们避免一个严重的 SEO 错误:绝对不要在 robots.txt
中阻止 Google 抓取 WebP 文件!
核心原因:GSC“网页索引”报告的视角偏差
GSC 中的“网页索引”(Pages) 报告,其核心功能是告诉您,您网站上哪些 URL 被 Google 视为 独立的、可以在标准网页搜索结果中展示的 HTML 页面,以及它们的索引状态。
当 Googlebot 抓取您的网站并发现一个 WebP 图片文件的 URL 时,它会尝试理解这个 URL。但是,当这个 URL 的信息被放入“网页索引”报告进行评估时,它是 从“这是否是一个合格的网页?”的角度 来判断的。
显而易见,一个 .webp
文件是一个图片资源,它本身并不是一个包含文本、链接等元素的独立 HTML 文档。因此,从“网页索引”报告的视角来看,它不符合被收录为标准网页搜索结果的标准,自然会被标记为“已抓取 - 尚未编入索引”或“被发现 - 尚未编入索引”等。
关键区别:“页面未索引” ≠ “图片未被处理”
这是最需要厘清的一点:
-
“未索引”(在 GSC 网页报告中)
:指的是这个 URL 不符合作为独立网页被索引的条件。 -
“图片资源被处理/索引”
:Google 需要抓取并访问这个 WebP 图片文件本身,以便: -
正确渲染包含该图片的网页:
Google 需要“看到”用户所看到的完整页面。 -
分析图片内容:
用于 Google 图片搜索 (Google Images) 的索引和排名。 -
评估图片质量和相关性:
作为理解网页内容的一部分。
所以,即使 GSC 的“网页索引”报告显示 WebP URL“未索引”,这 完全不代表 Google 没有处理这个图片或者它不会出现在 Google 图片搜索中。它仅仅意味着,从“网页”的角度评判,这个 URL 不合格。而作为“图片”,它很可能已经被 Google 正常处理,并有资格被纳入 Google 图片搜索的索引库。
致命误区:绝不能在 robots.txt
中屏蔽 WebP 抓取!
理解了上述报告视角的偏差后,最关键的行动就是 避免犯一个常见的严重错误。有些网站管理员可能会错误地认为:“既然 GSC 说这些 WebP 没被(网页)索引,那我不如在 robots.txt
文件里把它们屏蔽掉,让报告‘干净’一些。”
这是一个“自残”的想法!请绝对不要这样做!
Disallow: /*.webp
(或类似阻止抓取图片目录的规则)
如果在 robots.txt
中阻止 Googlebot 抓取您的 WebP (或其他任何格式的) 图片文件,会发生什么?
-
Google 无法访问图片:
Googlebot 将遵守 robots.txt
的指令,不再下载这些图片文件。 -
图片无法被图片搜索索引:
因为 Google 无法获取和分析图片内容,这些图片将 绝对不会 出现在 Google 图片搜索结果中。如果您的网站依赖图片搜索流量,这将是巨大的损失。 -
影响页面理解和渲染:
Google 可能无法完全理解和渲染包含这些被屏蔽图片的页面,潜在地影响该页面的整体评估。
正确的应对策略:接受报告,优化图片,确保可抓取
面对 GSC 中 WebP 图片的“未索引”状态,正确的做法是:
-
理解并接受报告状态:
认识到这是 GSC“网页索引”报告特定视角下的正常反馈,不必为此焦虑。它反映的是 URL 作为“网页”的资格,而非作为“图片”的处理状态。 -
检查核心页面的索引:
使用 GSC 的“网址检查工具”确保那些 嵌入了 WebP 图片的 HTML 页面 被成功索引。这才是关键所在。 -
优化图片 SEO:
专注于实际能提升图片可见性的措施:使用描述性的 Alt 文本、有意义的文件名、将图片置于相关内容中、优化图片大小和质量。 -
确保图片可抓取性:
检查您的 robots.txt
文件,确保没有任何规则阻止 Googlebot 访问您的 WebP 文件或包含图片的目录。 这是底线! -
监控图片搜索表现:
在 GSC 的“效果”报告中,筛选“图片”搜索类型,关注实际的图片搜索数据(展示次数、点击次数),这比纠结于“网页索引”报告中的状态更有意义。
GSC 中 WebP 图片显示为“已抓取 - 尚未编入索引”通常源于报告本身的评估视角,它判断的是 URL 作为“网页”的资格。这并不意味着图片本身未被 Google 处理或不会出现在图片搜索中。最关键的行动是,绝不能因为这个报告状态而在 robots.txt
中阻止 Google 抓取这些图片文件,否则将严重损害您的图片 SEO 效果。请将精力放在确保核心页面被索引、遵循图片 SEO 最佳实践,并保证您的图片资源对 Googlebot 始终是可访问的。
-------------
SEO小平作为9年SEO小语种跨境电商卖家,把整套SEO搞成了完整的SOP开课培训需要了解SEO培训陪跑课程的朋友可以加SEO小平的微信。



以往的文章也是干货,欢迎阅读和转发
谷歌算法又双叒叕更新?Google SEO算法为啥一直在更新?
文章为作者独立观点,不代表DLZ123立场。如有侵权,请联系我们。( 版权为作者所有,如需转载,请联系作者 )

网站运营至今,离不开小伙伴们的支持。 为了给小伙伴们提供一个互相交流的平台和资源的对接,特地开通了独立站交流群。
群里有不少运营大神,不时会分享一些运营技巧,更有一些资源收藏爱好者不时分享一些优质的学习资料。
现在可以扫码进群,备注【加群】。 ( 群完全免费,不广告不卖课!)
发表评论 取消回复