[农哥ng001]-门户文章采集入库插件 v2.0.0-Discuz x 插件(2026年7月22日)
下载地址:天翼云盘:
具体看插件内部说明文档
插件实现网站内容采集功能,支持从各大网站采集文章内容,包括: - 文章标题、关键词、描述的提取
- 文章正文内容的提取
- 图片本地化下载
- 附件本地化下载
- HTML代码过滤规则配置
- 原作者、来源、来源网址等文章参数的提取
- 文章发布到门户频道栏目
采集到的内容先存储在临时表中,供定时发帖插件选择发布。添加任务时每步骤都支持预览结果但不保存到数据库。
1. 添加采集规则
- 规则名称:便于识别的规则名称
- 采集源网站:目标网站的主页URL
- 列表页URL:文章列表页的URL
- 列表页链接提取规则:正则表达式,用于提取文章链接
- 标题提取规则:CSS选择器或正则表达式
- 关键词提取规则:CSS选择器或正则表达式(可选)
- 描述提取规则:CSS选择器或正则表达式(可选)
- 正文内容提取规则:CSS选择器或正则表达式
- 图片本地化:是否将图片下载到本地
- 图片保存临时目录:本地图片保存路径(以网站根目录为相对路径)
- 附件本地化:是否将附件下载到本地
- HTML过滤规则:JSON格式,如 {"removeTags":["script","style","iframe"]}
- 请求超时时间:采集请求的超时时间(秒)
- 采集间隔:两次采集之间的间隔时间(秒)
- 每次采集数量:每次最多采集多少篇文章
- 门户频道栏目:采集的文章发布到哪个门户频道栏目
2. 预览功能(不保存到数据库)
- 第一步:预览列表页,查看提取的文章链接
- 第二步:点击任意链接,预览文章内容(标题、关键词、描述、正文)
- 第三步:预览HTML过滤后的结果
3. 临时数据管理
- 查看采集到的文章列表
- 标记文章为"已发布"或"已归档"
- 支持批量操作
- 删除不需要的数据
- 删除全部文章功能
- 单篇文章立即发布功能
4. 全局配置
- 图片本地化:是否默认将图片下载到本地
- 图片保存目录:本地图片保存路径
- 附件本地化:是否默认将附件下载到本地
- 附件保存目录:本地附件保存路径
- 请求超时时间:默认采集请求超时时间(秒)
- 采集间隔:默认两次采集之间的间隔时间(秒)
- 最大采集数:默认每次采集最多获取的文章数
- 发布用户方式:指定用户名或用户组随机
- 用户名列表:指定发布文章的用户名,多个用|||分隔
- 发布用户组ID:从该用户组中随机选择用户发布
|