Dify智能体网页内容自动解析入库机器人

📥 网页内容自动解析入库机器人

该工作流是一条自动化的数据采集与处理流水线。它能接收用户输入的任意网页链接，通过多重步骤智能地抓取、清洗和提纯网页的核心内容，并最终将干净的文本通过 API 调用，自动添加为一个新的文档存入 Dify 平台内一个预设好的知识库中。

1. 输入目标网页链接
   • 用户在工作流开始时，仅需提供一个想要归档的网页 URL（url）。
2. 智能抓取核心内容
   • JinaReader 工具节点会首先访问用户提供的 URL。
   • 它的任务是智能地识别并抓取网页的正文部分，自动过滤掉页面上的广告、导航栏、页脚等无关的“噪音”信息，输出相对干净的核心内容。
3. AI 深度清洗与提纯
   • 上一步抓取到的内容会被送入一个大语言模型（LLM）进行二次处理。
   • 这个 AI 的任务是进行深度清洗：它会进一步移除文本中可能残留的推广信息、图片描述、多余的链接和所有的换行符，目标是提炼出最纯粹、最有价值的文本信息，并确保全部为中文。
   • 最后的代码节点会再次清理可能遗漏的换行符，确保文本的纯净度。
4. 存入 Dify 知识库
   • 这是工作流的最后一步，也是最关键的一步。一个 HTTP 请求节点会被触发。
   • 它会将经过层层提纯后的最终文本内容，打包成一个 JSON 数据包。
   • 接着，它会调用 Dify 自身的 API 接口（.../datasets/{知识库ID}/document/create_by_text），将这段文本作为一个新的文档，添加到 ID 为 2aae0d12-... 的指定知识库中，并设置为“高质量”索引模式。

主要特点

• 自动化知识库构建：完美解决了手动“复制-粘贴-格式化”来扩充知识库的繁琐工作，实现了网页资料的一键入库。
• 双重内容清洗：采用了“专用工具初筛 + AI 模型精炼”的两步清洗策略，能最大限度地保证存入知识库的数据是高质量、高信噪比的。
• Dify 生态内循环：这是一个 Dify 工作流调用 Dify 自身 API 的典型范例，展示了平台强大的“自我驱动”和元编程能力。
• 高效率信息归档：对于需要构建特定领域知识库的用户来说，这是一个极高效率的信息聚合工具，可以快速地将网络上的相关文章和资料汇集到自己的知识库中。

非常适合正在使用 Dify 搭建和维护知识库的研究人员、内容运营、学习小组或任何需要系统化收集网络资料的团队和个人。