怎么确定内容是否出现在 AI 搜索引擎中

我前段时间有说过，自己的网站时不时会收到来自 AI 搜索引擎的询盘信息，但是不清楚具体的 AI 搜索引擎收录了我网站的哪些内容。那今天的这篇文章简单聊聊怎么确定，以及怎么做。

先谈第一点，怎么确定网站的内容是不是出现在 AI 搜索引擎中了。

一般针对这种问题，我基本会使用两种方式去核实。

方法一其实很简单，那就是直接到具体的 AI 搜索引擎中去搜索自己的产品，看看是否存在相应的产品信息。如果有看到信息，则表明 AI 搜索引擎之前有抓取过我们的产品信息，且已经在用户搜索交互中使用了我们的内容。

像最常使用的 ChatGPT Search 或者 Perplexity，直接在用户搜索界面输入自己的品牌信息，便可以直观看到相应的搜索结果。或者在搜索的过程中使用一些精准长尾词，也可以核实自己的内容是不是被 AI 搜索引擎收录索引。

方法二使用起来稍微复杂一点，主要是去网站的主机访问日志里看相应的爬虫抓取记录。

这个过程中，我们需要确保自己的网站是对所有网络爬虫公开的（不能屏蔽），这点在网站的 robots.txt 文件中便能看到。

然后再去网站服务器的用户访问日志里看，自己的网站信息有没有被相应的 AI 搜索引擎爬虫抓取过。

我这里拿 SiteGround 主机搭建的网站为例，可以在网站后台的“Activity Log”里面看到所有的用户访问信息。

比如下图是我某个网站的具体访问信息，可以看到有谷歌搜索引擎爬虫的访问记录，也有 Yandex 搜索引擎的爬虫记录。大家有兴趣的话，可以在这份日志里好好找找有没有 AI 搜索引擎的爬虫记录。

一般 Perplexity 的爬虫名是 PerplexityBot，ChatGPT 的爬虫名是 GPTBot。当看到这两个爬虫的信息抓取记录时，即表明 AI 搜索引擎的爬虫有来过，也有抓取过我们的内容（至于有没有索引则需要进一步核实了）。

基本经过上面两个步骤的操作，便能大致了解网站内容在 AI 搜索引擎上的收录情况。

如果发现自己网站的内容，根本就不曾出现在 AI 搜索引擎中，我这里推荐尝试着做一下主动搜索。

比如将自己网站的长尾关键词拿到 AI 搜索引擎中去搜索，并尝试着给一个具体的网站链接让 AI 消化，看看相应的输出结果。

如果内容与我们网站的基本情况相符，那便一定程度表明自己的内容是能被 AI 搜索引擎消化的。如此多尝试几次，再来看看后续的搜索表现。

但是这种方法不具有普遍性，我也只是在自己的某一个站点上使用过，仅供参考。