n8n使用 ScrapeNinja 和 AI 将任何网页抓取为结构化 JSON 数据

网络爬虫经常会因为网页布局变化而崩溃。
本工作流程尝试通过 LLM 自动生成网络爬虫数据提取器代码来缓解此问题。

工作原理

此工作流程利用 ScrapeNinja n8n 社区节点来：

• 抓取网页 HTML，
• 将其输入到 LLM（Google Gemini）并要求编写 JS 提取器函数代码，然后它
• 对抓取的 HTML 执行编写的 JS 提取器，从网页中提取有用的数据（代码在沙箱中安全执行）

安装

要安装 ScrapeNinja n8n 节点，请在您的自托管实例中转到设置->社区节点，输入“n8n-nodes-scrapeninja”，然后安装。

确保您至少使用 v0.3.0。