4种方式助你找到竞品的所有页面URL

在谷歌搜索中，使用Site命令，可以找到竞品网站中大量被收录的页面。

如下图所示(site: domain.com)，谷歌会将查询网站中的收录页面罗列出来。

（使用Site命令找出目标网站被收录的页面）

这种方式最大的优势是：

• 免费

• 简单易用

• 快捷

而劣势也很明显：

• 页面数据不全（因为谷歌只收录了它觉得有价值的页面，因此并未包含所有页面）

• 导出数据不方便（虽然可以借助浏览器插件，例如SEOquake，来导出页面数据，但如果页面量级大的话，还是比较麻烦）

（使用SEOquake插件来导出页面URL）

第二种方式，则是直接从网站的站点地图中收集页面URL数据。

通常而言，我们会把网站中所有的重要页面都放到XML Sitemap中，方便搜索引擎抓取收录。

（XML Sitemap中的URL示例）

因此，通过提取XML Sitemap中的页面URL数据，我们可以快速且有效地实现这个目的。

默认网站的XML Sitemap会放在网站的根域名下，例如：https://www.domain.com/sitemap.xml。

如果在根域名下没找到的话，也可以到网站的robots.txt文件中找一下。

因为通常会在robots.txt文件中声明XML Sitemap所在的路径，来引导搜索引擎抓取站点地图。

（robots.txt文件中sitemap地址示例）

这样，我们就可以使用免费工具（例如https://www.searchant.co/sitemap-tool），来将XML Sitemap的页面URL快速提取出来了。

只需要输入竞品网站的XML Sitemap地址，等待片刻，就能直接导出页面URL数据。

（使用Searchant来提取Sitemap中的页面URL）

这种方式的优势在于：

• 免费

• 方便快捷

• 获取到所有重要页面

而劣势则是：

• 需要竞品网站已生成XML Sitemap

• 且能够找到正确的XML Sitemap位置

Screaming Frog(尖叫青蛙)是一款专门用来抓取网站页面数据的爬虫工具，非常强大，用它来抓取网站页面URL数据简直是轻而易举。

我们之前也专门写过一篇公众号文章：《Screaming Frog，让你尖叫着提升效率》，全方位的分享了我们是如何在SEO工作中使用Screaming Frog来抓取网站信息，提升效率的。

使用Screaming Frog来抓取网站页面URL非常简单，只需要在上方地址柆中输入竞品网站URL，等待它完成抓取，导出即可！

（使用Screaming Frog来抓取网站页面信息）

当然，如果觉得抓取整个网站太慢，也可以仅抓取XML Sitemap中的页面URL。

切换抓取模式为List Mode，然后将竞品网站的XML Sitemap地址粘贴进去，等待抓取完成。

（切换至Screaming Frog的List抓取模式）

这种方式的优势主要是：

• 方便快捷

• 抓取效率高

• 多种抓取方式可用

• 抓取到的网站页面URL完整

• 额外获得更多页面信息数据（例如Title，Description内容）

而劣势则是：

• 付费工具（折合约1800+RMB/年）

• 有一丢丢的学习成本

通过在Semrush中创建专门的Project，并设置Site Audit后，也能找到竞品网站的所有页面URL。

（在Semrush中创建Project）

等待Semrush抓取完所有页面后，我们就能够在Crawled Pages中，找到竞品的所有网站页面URL信息。

（在Semrush中找到所有被抓取的页面）

点击右上角的Export按钮，可以导出所有的页面URL数据。

（导出被抓取的页面）

使用Semrush的优势主要有：

• 方便快捷

• 抓取效率高

• 抓取到的网站页面URL完整

• 额外获得更多页面信息数据

而唯一劣势则是：

• 付费工具

如果只是希望简单获取竞品网站的页面URL，前两种免费方式就够用了。

但如果是希望能够获取到更多的页面信息和数据洞察，Semrush则更加合适。

推荐大家观看《如何利用Semrush分析与竞品的内容差距》的视频讲解，助你快速找到更多的内容主题机会。