SEO技术流机器人诞生记?

Hi, all, SEO技术流机器人0.1版本终于诞生了！

之前就有了做个SEO机器人的想法，昨晚终于开始操作，目前算是搭建了个基本雏形。

地址是：https://chat.openai.com/g/g-tsdNziD2M-seo-ji-zhu-liu

可以先看一些回复情况，感觉还不错，基本达到了前期的要求。

初步介绍

整体是基于 ChatGPT ，又加入了新抓取的 Google 搜索中心的官方文档、新版的搜索质量评分指南、近 3 年的 Google 搜索的博客文章，以及我的个人网站的文章，算是加入了一点点 SEO 专长。

在回复上，我设置了默认语言是简体中文，默认搜索引擎是 Google。如果有引用上面附加文档的内容，也会尽量添加上相关链接。

所以，如果有 GPT4 的朋友可以先尝试下。目前 openai 这个功能仅限升级到 GPT4 的用户使用。

机器人基本配置

看了上面，你也许会认为默认语言、搜索引擎、附加知识库这些如何配置，应该在哪个参数进行配置。

但你如果真的操作，会发现其实非常简单，基本上就用大白话来描述即可。（未来的编程就是这样吗？）

机器人的名称、描述、缩略图、常见问题就不用多说了，有个输入框可以直接输入即可。（缩略图也集成了 DALL-E 的能力，可以自动生成。）

对于默认语言、搜索引擎、风格等配置，可以直接在 Instructions 这个输入框里去描述。

里面默认有角色和目标、约束条件、个性化等开头（可以学习官方的 prompt 逻辑）。

其他的规则，你都可以在这里直接输入，是开放性的。比如我是这么设置回复中尽可能添加参考链接：

如果有参考 GSC-doc.json、search-blog.json、zhidaow.json 中的内容，请在回复中附加相对应 content 的 url 的数值，比如有参考 GSC-doc.json  中关于 large site how to manage crawl budget 的内容，那就在回复中附加“参考文档：https://developers.google.com/search/docs/crawling-indexing/large-site-managing-crawl-budget”

另外，GPT 也是默认可以访问网址、生成图片，以及分析代码。也就是集成了 GPT4 的基本功能。

GPT 生成抓取脚本实现自建知识库

我主要是通过抓取内容来实现自建知识库，如果有现成的知识库更好，不管什么内容形态，GPT 都能识别和理解。

我最开始是想用 screaming frog 来抓取，但发现他更擅长抓取 URL，对数据做结构性解析。于是想转到八爪鱼和火车头。

后来想到 GPT 写个脚本就可以实现了，而且 URLs 已经用 screaming frog 抓取到了。

下面是我第一次让 chatGPT 生成的代码。chatGPT 也给出了相关的 python 库来提前安装。

后来我又增加了很多功能，都直接描述给他，让他基于现有代码修改，比如输出改成了 json （朋友风隼给的启发）、剃除掉了一些网页内容、一边抓取一边写入、在 Terminal 上要显示进度、抓取错误要 hold 20 秒再继续等。

最后给出的代码，以及跑出的数据就基本可用了。

进一步完善

这个机器人只能算是搭建了基本框架，还是很糙。规则设置还是太简单，知识库也可以整理的更细致，也没有注意到回复安全性等方面，后续再继续升级吧。

下一步计划是继续补充知识库，比如 searchengineland.com、seroundtable.com 近期的内容可以抓取来补充。

欢迎大家试用，给一些意见和建议；也建议搭建自己的机器人，一起玩起来，也可以帮助到自己行业和业务。