自动采集子系统(海洋cms怎么设置宝塔自动采集:获取脚本代码。)
优采云 发布时间: 2021-12-22 13:13自动采集子系统(海洋cms怎么设置宝塔自动采集:获取脚本代码。)
海洋cms如何自动设置宝塔采集,因为很多人都在问这个问题,所以有这个教程。海洋cms虽然给出了脚本代码,但是对于海洋的新手cms来说,用户理解起来并不是那么容易。今天,我们将深入详述cms使用宝塔现实自动采集的具体步骤。
海洋cms如何设置宝塔自动采集 第一步:获取脚本代码。
[1] 以下是Oceancms官网提供的自动采集脚本代码,我们需要修改代码中的3项才可以使用。
#!/bin/bash
########################################################
# 程序名称: 海洋CMS自动采集脚本
# 版本信息:seacmsbot/ v2.0
# 发布链接: https://www.seacms.net/post-update-92579.htm
# 使用方法:直接复制代码到宝塔计划任务shell脚本内容里添加每小时任务使用
# 更新时间:2019.9.26
##########################################################
# ①请修改下面的网站域名及管理目录
web_site = "http://网站域名/管理目录/admin_reslib2.php"
# ②请修改下面项内容为"admin_reslib2.php"里设置的访问密码(默认为系统设置的cookie密码)
web_pwd = "8888e82e85bd4540f0defa3fb7a8e888"
# ③下面项内容为资源站每日采集链接地址列表,请自行修改,每行一条,可添加多个,前后需添加引号。
# 每日采集链接获取方法:选择"后台-采集-资源库列表",复制资源站右边的"采集每天"的链接地址,去掉?前面的内容。
web_api = (
'?ac=day&rid=1&url=https://api.iokzy.com/inc/ldg_seackm3u8s.php'
'?ac=day&rid=2&url=http://www.zdziyuan.com/inc/s_ldgm3u8_sea.php'
)
# 模拟用户浏览器ua,请勿随意修改,以免被目标防火墙拦截!
web_ua = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko)
Chrome / 76.0
.3809
.100
Safari / 537.36
seacmsbot / 1.2;
"
# 采集单页
function
get_content()
{
echo
"正在采集第$page页..."
# echo " get_content: --->url:--->$1"
cResult =$(curl - -connect - timeout 10 -m 20 -k -s -L -A "$web_ua" "$1")
echo $cResult | grep - q
"采集"
# echo -e "$1\n$cResult"
if ["$?" = "0"]; then
next_content
"$cResult"
else
echo - e
"采集失败,请检查设置!\n失败链接-->$1\n返回信息-->$cResult\n采集结束,共0页"
fi
}
# 采集下页
function
next_content()
{
# 统计数据
Result =$(echo "$1" | tr "
" "\n")
a =$(echo "$Result" | grep -c "采集成功")
b =$(echo "$Result" | grep -c "更新数据")
c =$(echo "$Result" | grep -c "无需更新")
d =$(echo "$Result" | grep -c "跳过")
echo
"采集成功-->已更$c部,新增$a部,更新$b部,跳过$d部"
let
add +=$a
let
update +=$b
let
none +=$c
let
jmp +=$d
# 检测并采集下页
next_url =${1 ##*location.href=\'}
next_url =${next_url % %\'*}
# echo $next_url
if ["${next_url:0:1}" = "?"]
then
let
page + +
get_content
"$web_site$next_url"
else
echo
"采集结束,共$page页"
fi
}
# 脚本入口
echo
"海洋CMS自动采集脚本开始执行 版本:v1.2"
starttime =$(date +% s)
update = 0 # 更新
add = 0 # 新增
none = 0 # 无变化
jmp = 0 # 跳过
for url in ${web_api[@]};
do
if[[! -z $url]]
then
web_param="$web_site$url&password=$web_pwd"
page=1
echo "开始采集:$url"
get_content $web_param
fi
done
endtime=$(date + % s)
echo "============================"
echo "入库-->$add部"
echo "更新-->$update部"
echo "跳过-->$jmp部(未绑定分类或链接错误)"
echo "今日-->$[none+add+update]部"
echo "============================"
echo "全部采集结束,耗时$[endtime - starttime]秒"
海洋cms如何设置宝塔自动采集 第二步:修改脚本
[2] 脚本中的哪3项需要特别修改?让我为您一一讲述。(根据上面提供的代码内容,复制到记事本或者其他html编辑器进行相应修改)
#①请修改下面的网站域名及管理目录
web_site="http://网站域名/管理目录/admin_reslib2.php"
这个要修改成你的“网站域名”和“Oceancms后台管理目录”。域名大家都能看懂,后台管理目录新手需要多说几句。首先,您必须能够登录到您的后端以了解您的后端目录。比如:如果我的后台登录地址是,那么这里的文章就是后台管理目录,拿到管理目录的时候直接填写代码即可。
#②请修改下面项内容为"admin_reslib2.php"里设置的访问密码(默认为系统设置的cookie密码)
web_pwd="8888e82e85bd4540f0defa3fb7a8e888"
#③下面项内容为资源站每日采集链接地址列表,请自行修改,每行一条,可添加多个,前后需添加引号。
#每日采集链接获取方法:选择"后台-采集-资源库列表",复制资源站右边的"采集每天"的链接地址,去掉?前面的内容。
web_api=(
'?ac=day&rid=1&url=https://api.iokzy.com/inc/ldg_seackm3u8s.php'
'?ac=day&rid=2&url=http://www.zdziyuan.com/inc/s_ldgm3u8_sea.php'
)
这是代码中需要修改的最后一项。里面是代码中默认提供的两个采集链接地址。我们需要得到自己的采集链接地址并添加进去。获取链接地址的具体操作,请参见下文截图步骤操作。如果你还没有添加或者不知道如何添加采集,可以参考帮助文档-Oceancms如何添加资源库采集界面
选择“背景-采集-资源库列表”,复制资源站右侧的“采集今天”“采集本周”“采集全部”根据你选择的链接地址,去掉前面的内容。(将鼠标移到当天或本周的采集,鼠标右击复制链接即可获得采集链接)
例如,这里是:
1
:///inc/ldg_seackm3u8s.php
第 2 步:删除“?”之前的内容 复制上一步,结果如下:
2
?ac=day&rid=1&url=
这将获得最终的 采集 URL
海洋cms如何自动设置宝塔采集第三步:宝塔定时任务设置。
[3] 将代码直接复制到宝塔计划任务的shell脚本中,并在内容中添加小时任务。具体步骤如下截图。步骤⑤是将我们修改后的脚本复制粘贴到脚本内容框中。
4]总结
一般情况下,修改脚本中需要修改的那几个项目后,将修改后的脚本复制到宝塔的定时任务采集下。不要选择错误的任务类型。如果您对本教程不了解或有任何疑问,可以加入社区进行讨论和查询。