采集采集器(【采集器】动态代理为什么要使用采集器?配置教程) -云顶集团官方网站入口
云顶集团官方网站入口-yd222云顶线路检测中心 发布时间: 2022-03-11 14:07云顶集团官方网站入口-yd222云顶线路检测中心云顶集团官方网站入口-yd222云顶线路检测中心(【采集器】动态代理为什么要使用采集器?配置教程)
说明:采集为什么要用动态代理,主要是解决了阻塞ip等问题。如果使用动态代理ip,则无法进行ip阻塞,不影响采集。
言归正传,首先要配置和构建采集器,这里不再赘述。
注意:下载链接在底部。
采集器配置无误后,启动代理配置,如教程所示:
1、登录采集器后台
2、点击【规则列表】如图:
3、点击编辑规则,如图:
4、开始配置规则代理:
①、站点设置,这里关闭缓存,如图:
②、小说列表采集设置:
这里是将采集器要获取的地址替换为通过api接口获取的方法,如图:
③。覆盖配置代理方法:
点击小说信息页面采集下拉,找到封面替换规则,也和上面一样,也是通过替换来达到代理的目的,如图:
4、内容地址配置方法:
找到【小说章节采集】,下拉找到地址替换规则,然后替换,如图:
通过以上配置,基本可以实现动态代理功能。
注意:【站点设置】的缓存必须关闭,否则无法获取数据。
如果测试规则时内容获取失败,检查章节地址替换结果是否正常。如果出现混淆或者有冗余字符串,在【章节地址替换】中新开一行,进行冗余替换。这里支持定期更换。如有不明白,请联系技术客服协助配置。
九四采集器免费版下载地址:九四采集器
优采云采集器是一个根据用户提供的关键词,云端自动采集相关文章并发布到用户网站的网站采集器。它能够自动识别各种网页上的标题、正文等信息,不需要用户编写任何采集规则就可以实现全网采集。采集到内容后,会自动计算内容与所设定的关键词的相关度,只把相关的文章推送给用户。支持标题前缀、关键词自动加粗、插入固定链接、自动提取tag标签、自动内链、自动配图、自动伪原创、内容过滤和替换、电话号码和网址清理、定时采集、百度主动提交等一系列seo功能。用户只需设置好关键词和相关需求,就能实现全托管、零维护的网站内容更新。不限网站数量,不管是单个网站还是大批量站群,都可以非常方便的进行管理。