自动采集原理
将某个资源站添加定时任务后,定期去访问这个任务,就实现了自动采集数据入库。当然不是人工定时去访问这个任务,我们可以通过下面介绍的几种方法,自动执行访问。
前置条件:
1、该资源站已绑定分类,未绑定分类无法采集数据入库
2、该资源站已添加播放配置,未添加播放配置采集入库后没有播放地址
操作步骤:
1、在插件页面,选择一个资源站添加定时任务;
2、在“系统”“定时任务配置”中,查看该任务,并复制该任务的“测试”链接
3、点击测试链接打开,看下是否能采集到数据;
1)、测试正常情况下是这样的页面
2)、若长时间无响应或者页面空白,这种情况可能是你服务器内网请求缓慢,网络延迟比较大,这种情况用定时自动采集就不理想了,建议更换服务器搭建程序再试。
3)、若出现执行任务“跳过”的提示,那说明任务链接正常,那是因为定时任务有间隔,最短间隔1小时,比如你在1小时内重复访问任务链接,那就会提示任务跳过。
监控URL
一、宝塔定时任务,监控URL(适用于有自己的宝塔面板的用户)
将上面复制得到的测试链接,填入到宝塔“计划任务”中的“访问URL”中;
打开宝塔面板上的“计划任务”,任务类型选择“访问URL”,任务名称自定义,执行周期,选择每小时,自定义某个分钟执行,URL填写任务链接
如图所示,添加定时任务后,手动点击“执行”,然后等过个1分钟左右,再打开日志,查看下日志记录能否正常访问任务链接。
如果日志内容显示为空,那就再点击一下执行任务,多等一会儿再去查看日志。
如图所示,就是正常状态了,到时间就会触发访问URL,从而实现自动采集更新数据。
如果你宝塔面板添加计划任务,没法正常访问任务链接,实现自动采集,那你还可以试试下面这个方法。
二、修改网站模板,访问触发
访问式触发定时任务采集方法
常见问题
1、定时采集当天和定时采集本周,哪个设置好?
定时采集当天,意思是只采集资源站当天更新的数据,资源站昨天及以前的数据,就不采集了
定时采集本周,意思是只采集资源站本周更新的数据,资源站本周之前的数据,就不采集了
一般选定一个资源站采集,首先我们先选择全部采集一遍该资源站的数据,然后选择定时采集当天,或定时采集本周数据就好了;
所以一般只需要设置定时采集当天数据即可,定时采集本周也可以同时添加,避免采集当天数据会有部分遗漏。
2、为什么不能设置定时采集全部?
一个资源站全部数据,少则几千,多则上万,定时采集全部有什么意义;
你要是首次采集该资源站,就执行一遍采集全部,之后,只需要定时采集当天或本周数据即可
要是定时采集全部,次次任务都采集重复数据,大量占用服务器资源,又不是每个数据每天都有更新。
3、设置了定时任务,也在宝塔计划任务添加了定期执行,后台数据未自动更新?
首先去查看一下宝塔面板计划任务的日志,看下日志里面的详细记录,如果宝塔未定时执行或定时执行了日志里面没有任何记录的话,那可能是你服务器无法访问监控到你定时任务URL链接。这种情况你要是有其他宝塔面板,用其他服务器添加计划任务试下,如果没有其他宝塔面板,则使用第二种方法,在模板中添加任务链接。