dede手动采集更新插件使用手册|DedeCms
优采云 发布时间: 2020-08-25 16:41dede手动采集更新插件使用手册|DedeCms
简介:属于dedecms的一个辅助功能,在dedecms中设定好采集节点以后,规则都设定好,保证在dedecms中才能正确采集到数据。这点很重要,因为我这个插件的采集程序就是dedecms的采集程序,虽然有所改进,但是只是在一些小的细节上更改了一下,整体的采集程序还是和dedecms一样的,一句话就是只要你在dedecms上才能采集到数据,那么这个手动采集更新的程序才能够正确执行。
功能:根据dedecms中设定好的采集节点手动定时定点采集数据,采集好数据然后才能手动导出到相关栏目之中,然后手动生成首页,栏目页,内容页。用一句话概括就是,只要你在dedecms中筹建好了采集节点然后,再从这个插件中配置一下相关参数,就可以不用管这个站了,本程序会手动帮你天天根据你设定好的时间去更新你的站点。是不是太爽啊,省了很大的事呢,呵呵,那么就请使用这个程序吧。
特点:不限于dedecms的版本,3.x和4.0都可以使用,因为本程序不是单纯的调用dedecms的相关文件,是完全从其采集程序中剥离下来自己成体系的一套程序,核心似乎是dedecms的,但是改动了少量细节问题,使逻辑上更合理,修正了原先的一些小的问题。
打包文件介绍:
文件夾:
autogather-----全部的程序文件都在这个下边
cache---缓存配置文件,所有的每位采集节点的手动采集更新的配置信息都在这里
include---所有的核心的操作类,从dedecms中剥离下来的,可以独立成一个系统
templets---模板文件
img,upimg---使用到的一些图片文件
文件:
auto_gather.php----全部的手动采集更新的代码都在这个文件之中,是核心文件
autogather.log---日志文件,记录在手动采集更新的过程中发生的相关信息提示
base.css---样式表文件
co_autogather_main.php---在 dedecms中的配置列表文件
option_auto.php,option_auto_action.php----处理dedecms中的采集节点弄成手动采集的代
码
程序使用说明:
1.首先下载文件包,解压缩在网站根目录下
2.然后到
3.之后步入到dedecms的后台,在辅助插件中的插件*敏*感*词*器中安装一个新插件
4.点击安装新插件,输入相关内容:
插件名称:自动采集更新
作者:千里独行狼
主程序文件:../autogather/co_autogather_main.php
目标框架:main
文件列表:留空
然后点击确定,将降低本插件到系统中。然后刷新一侧的导航,将会在辅助插件栏中多了一个手动采集更新
6.点击一侧的手动采集更新,将显示下来你如今所有设定的采集点,你会发觉在最右侧有一个操作栏,有配置为手动采集和获取代码。
好,我们如今点击配置为手动采集,出来一个具体配置手动采集更新的参数窗口:
下面是具体的每位参数的说明:
采集后导入的目标栏目:采集之后要把数据导出到那个栏目中
采集数据参数设置:采集数据时,每批采集多少条数据,采集的线程数,间隔时间多少秒(防刷新的站点需设置)
栏目导出数据参数设置:每批导出多少条
要更新的栏目:导入完数据然后,要更新的栏目
生成栏目参数设置:每批最大创建页数,也就是分批创建栏目页面的时侯,每批要创建的页数
更新选项:更新栏目的所有页面:一次性全部更新完该栏目的所有页面,仅更新指定数目的页面:有的网站的列表文件太多,假如全部更新的话,耗费的时间会太长,所以这个参数可以设定仅更新前多少页。点击这个选项的话,下面会显示下来一个隐藏的文本框,更新前多少个页面,在这里设定更新的页数
是否更新子栏目:更新子级栏目,仅更新所选栏目
生成文档html参数设置:每批生成多少个内容页面文件
好了,设定好各项参数以后,点击保存配置,将生成一个配置文件到 cache文件夾中
7.点击获取代码
将会在下边出现一个文本框,里面就是获取的代码
把上面的代码拷贝下来。
8.建立一个html文件任意取名,不过建议取一个有意义的名义,这样之后配置多个手动采集点的时侯,以便于分辨
打开这个文件,把拷贝的代码粘贴到该文件中,保存该文件。
9.在windows的计划任务中,建立一个计划任务,设定好要执行的时间。因为php只能做到这些方法,本来曾经想考虑用discuz那个方法,只要网站前台有用户访问,那么就手动开始执行该程序,可是这样并不好,因为采集程序的执行时间都比较长,所以前台访客访问的页面会仍然显示正在打开中,浏览体验就不好了,所以只能依靠windows的计划任务来做了。unix,linux也有类似的程序,这里就不多说了。
现在设定好了一个计划任务,到了规定的时间,就可以执行了。
说明1:因为该程序是在dedev3.1的环境中开发的,所以界面仍然沿用的是3.1的,所以在前面的图中,会倍感颜色不搭调,请你们重视了。
说明2:因为程序从dedecms中完全剥离下来,所以有2个配置参数须要手工的更改一下
autogather/include/config_base.php中的$cfg_dbhost,$cfg_dbname,$cfg_dbuser,$cfg_dbpwd请更改成和你的系统一致的
autogather/include/config_hand.php中的$cfg_indexurl = '';请更改成和你的域名一致的例如:
假如里面两处没有更改,那么本程序将不能运行。