是否有办法了解竞品的网站规模大小,存在多少有效页面,从而进行更加详细的内容差距分析呢? 如果能够获得这些信息,就能够将自己与竞品的网站规模进行对比分析,了解与竞品网站之间的内容量差距,竞品在哪类内容上投入了更多的资源,以及竞品的网站架构是怎么样的,甚至还有机会洞察竞品的内容策略。 所有的这些洞察,前提都是先要获得竞品网站的所有有效页面URL,从更全局的角度来对比分析。 但是手动从竞品网站中逐个复制页面URL,肯定不是一个有效的解决方案。 因此,我们可以借助不同的工具,来快速整理出竞品网站的所有有效页面URL。 下面就介绍四种不同的方式,来实现这个目的。 在谷歌搜索中,使用Site命令,可以找到竞品网站中大量被收录的页面。 如下图所示(site: domain.com),谷歌会将查询网站中的收录页面罗列出来。 (使用Site命令找出目标网站被收录的页面) 这种方式最大的优势是: 免费 简单易用 快捷 而劣势也很明显: 页面数据不全(因为谷歌只收录了它觉得有价值的页面,因此并未包含所有页面) 导出数据不方便(虽然可以借助浏览器插件,例如SEOquake,来导出页面数据,但如果页面量级大的话,还是比较麻烦) (使用SEOquake插件来导出页面URL) 第二种方式,则是直接从网站的站点地图中收集页面URL数据。 通常而言,我们会把网站中所有的重要页面都放到XML Sitemap中,方便搜索引擎抓取收录。 (XML Sitemap中的URL示例) 因此,通过提取XML Sitemap中的页面URL数据,我们可以快速且有效地实现这个目的。 默认网站的XML Sitemap会放在网站的根域名下,例如:https://www.domain.com/sitemap.xml。 如果在根域名下没找到的话,也可以到网站的robots.txt文件中找一下。 因为通常会在robots.txt文件中声明XML Sitemap所在的路径,来引导搜索引擎抓取站点地图。 (robots.txt文件中sitemap地址示例) 这样,我们就可以使用免费工具(例如https://www.searchant.co/sitemap-tool),来将XML Sitemap的页面URL快速提取出来了。 只需要输入竞品网站的XML Sitemap地址,等待片刻,就能直接导出页面URL数据。 (使用Searchant来提取Sitemap中的页面URL) 这种方式的优势在于: 免费 方便快捷 获取到所有重要页面 而劣势则是: 需要竞品网站已生成XML Sitemap 且能够找到正确的XML Sitemap位置 Screaming Frog Screaming Frog(尖叫青蛙)是一款专门用来抓取网站页面数据的爬虫工具,非常强大,用它来抓取网站页面URL数据简直是轻而易举。 我们之前也专门写过一篇公众号文章:《Screaming Frog,让你尖叫着提升效率》,全方位的分享了我们是如何在SEO工作中使用Screaming Frog来抓取网站信息,提升效率的。 使用Screaming Frog来抓取网站页面URL非常简单,只需要在上方地址柆中输入竞品网站URL,等待它完成抓取,导出即可! (使用Screaming Frog来抓取网站页面信息) 当然,如果觉得抓取整个网站太慢,也可以仅抓取XML Sitemap中的页面URL。 切换抓取模式为List Mode,然后将竞品网站的XML Sitemap地址粘贴进去,等待抓取完成。 (切换至Screaming Frog的List抓取模式) 这种方式的优势主要是: 方便快捷 抓取效率高 多种抓取方式可用 抓取到的网站页面URL完整 额外获得更多页面信息数据(例如Title,Description内容) 而劣势则是: 付费工具(折合约1800+RMB/年) 有一丢丢的学习成本 Semrush 通过在Semrush中创建专门的Project,并设置Site Audit后,也能找到竞品网站的所有页面URL。 (在Semrush中创建Project) 等待Semrush抓取完所有页面后,我们就能够在Crawled Pages中,找到竞品的所有网站页面URL信息。 (在Semrush中找到所有被抓取的页面) 点击右上角的Export按钮,可以导出所有的页面URL数据。 (导出被抓取的页面) 使用Semrush的优势主要有: 方便快捷 抓取效率高 抓取到的网站页面URL完整 额外获得更多页面信息数据 而唯一劣势则是: 付费工具 小结 如果只是希望简单获取竞品网站的页面URL,前两种免费方式就够用了。 但如果是希望能够获取到更多的页面信息和数据洞察,Semrush则更加合适。 推荐大家观看《如何利用Semrush分析与竞品的内容差距》的视频讲解,助你快速找到更多的内容主题机会。谷歌Site命令
XML Sitemap
文章为作者独立观点,不代表DLZ123立场。如有侵权,请联系我们。( 版权为作者所有,如需转载,请联系作者 )
![](/uploads/20220808/d81753f89dea316b807ac384e91b394f.png)
网站运营至今,离不开小伙伴们的支持。 为了给小伙伴们提供一个互相交流的平台和资源的对接,特地开通了独立站交流群。
群里有不少运营大神,不时会分享一些运营技巧,更有一些资源收藏爱好者不时分享一些优质的学习资料。
现在可以扫码进群,备注【加群】。 ( 群完全免费,不广告不卖课!)
发表评论 取消回复