火车采集器发布模块制做教程
优采云 发布时间: 2020-07-04 08:01本次我们使用 DedeCMS5.7文章发布作为演示。我们首先下载安装好 gbk 版本的 DEDE,然后 下载数据包抓取工具 fiddler。下载完后成打开 fillder 和采集器的 Web 发布模块工具,然 后我们开始具体的开发过程。首先我们打开 dedecms 后台,开始登陆,登录成功后,我们可 以 据 看 到 fiddler 中 的 数 :从图中我们可以看见登陆过程中递交的数据。 我们按模块制做的流程, 先设置登陆地址后缀 和登陆地址来源页 (如果你使用外置浏览器登陆, 登录地址设置这一步就可以不用设置了) 。 这个对应关系如下:登录地址就是 POST 地址,来源页就是 Refer 那一行。因为发布模块通常是要针对一个系统 的,所以对好多用户来说,要设置的只是域名的不同,我们本次要除去域名部份和后台目录 部分的网址,将剩下的网址做为地址后缀填写进去。当其他用户使用我们的模块时,只要填 写域名地址带后台地址即可。填写的结果是:第二步, 我们复制 RAW 中的 POST 数据, 填写登陆 POST 数据, 注意是选中 Fiddler 的那一行。我们打 开 Web 发布模块编辑器,在“网站自动登入”那一页,点击“粘贴抓包获取的数据”。
将我们刚刚复制的数据放进去。然后我们点击提取,会听到表单名和表单值早已手动填写好了。我们可以晓得,userid 是用户名,pwd 是密码,我们如今将这两个值替换成变量。我们点击 修改表单项,删除掉旧数据,单击用户名,结果如下我 们保存好, 再设置登陆成功标识码, 我们可以在 fiddler 返回的 html 代码中听到 “成功登 录, 正在转向管理管理主页”几个字样, 我们可以在登陆成功标识码中填写 “成功登陆“四 个字做为成功标示,当程序登入后发觉有这几个字样,就会觉得我们登陆成功。现在的程序 界面如下登 录过程我们最后再测试,现在我们设置内容发布参数。在 dedecms 中步入发布文章的页面, 简单的填写一下必要的数组,然后递交数据。在 fiddler 中见到如下结果,注意看圈住的几个地方用火车采集器发布信息时 如何获取网站栏目id,分别是 post 地址,以文本形式显示 RAW 代码,成功标识符。按登陆界面登陆地址和来源页的设置方法, 填写文章发布的地址和来源页, 我们点击 View In NotePad ,如图复制-----------------------------6962及以下的代码,到”内容发布参数 “的”粘贴抓包获取的数据“中去。
点击提取后,我们再对表单值进行一些替换,如标签是 mytitle 替换成[标签:标题],内容 mycontent 替换成 [标签:内容]等。我们最后设置的结果如下: 我们如今要对发布时的页面进行剖析,获取表单名所对应的实际内容。经过剖析,我 们得悉 typeid 是栏目 id,我们在发布文章时可能要指定不同的栏目的,所以我们要设置一 个变量[分类 ID]来代表栏目 id,同时设置”获取栏目列表“。 栏目列表页我们要获取的格式 是栏目名称和栏目 id,我们在来源页或是其它有栏目信息的网页的源代码中提取栏目信息。 Dedecms 的来源页面就有栏目信息,源码如下:我们填写的格式如下 分类的填写暂时就这样,我们在稍等再测试。经过我们的剖析用火车采集器发布信息时 如何获取网站栏目id,pubdate 这个表单是设 置发布时间的, 现在我们是须要使用服务器上的时间来发布的, 我们须要通过”网页随机值 获取“来获取这个时间并在发布时使用。 这个时间我们是可以在填写文章内容的页面上得到 的,我们先添加网页随机值注意,因为时 间每次都是不一样的,所以我们不要选”每次恳求都使用第一次获取的随机值“添加完 的结果是这儿的网 页随机值名为网页随机值1,我们同时要更改文章发表参数中的值。
如下图。保存好后,我们如今 保存一下 Web 发布模块,在 Web 发布配置管理器中测试我们刚刚做的模块。我们打开 WebPostManager.exe 。新建一个发布配置,注意网站根地址是域名加后台地址,我们前面 有提及过。网站编码是 gbk.如果我们使用的是 utf8的 dedecms,要选 utf-8。 我们点击登陆,提示登陆成功。这 说明我们的登陆部份是正确的, 为了再度确认并获取登陆失败的标示, 我们改一下用户名或 密码,获取一下所有的错误信息,并将其填写到模块中去。这是更改 后的模块如今我们测试 一下获取列表,点击”获取列表“,可以看见是成功了。我们选一个栏 目,点击”测试配置“打开网站后台,结果正确。到此,该模块已基本完成,后边的工作是做更多细节的更改。模块完成后,我们就可以用于 实际发布过程中了。我们保存一下设置好的发布配置,就可以在其它的项目,如列车采集器 中使用该发布配置了。火车采集器中的发布请查看 五.火车采集器采集实例中的发布部份。