乐思网络舆情监测系统的网络拓扑结构(采集层)
优采云 发布时间: 2021-04-24 22:22乐思网络舆情监测系统的网络拓扑结构(采集层)
系统组成
Lesi网络民意监测系统由两个子系统组成:自动采集子系统(采集层)和分析和浏览子系统(分析层和表示层)。
Lesi网络舆情监控系统的网络拓扑如下图所示,也可以根据需要在隔离的外部和内部网络中实现。
Auto 采集子系统功能描述
自动采集子系统可以对任何目标网站执行自动采集。
例如:新华网,强国论坛,天涯社区,西慈社区,网易社区,新浪论坛,搜狐社区,凤凰网,*敏*感*词*,以及用户指定的其他动态网站。您可以提取所有新闻文章或主题帖子或最新主题帖子的内容,还可以提取对某个主题帖子的所有回复或最新回复的内容。指定要监视的目标网站,或者不指定要在全局范围内监视的目标网站 网站,或者对两者进行混合监视。它可以监视国内网站和国外网站,例如Facebook,Twitter,BBC,CNN。
自动采集子系统也可以监视基于应用程序的*敏*感*词*程序。
后端数据库支持任何主流的关系数据库,例如Oracle,IBM DB2,MS SQL Server,MySQL,Sybase和基于文件的数据库访问。
自动采集子系统的全方位监视功能如下图所示:
自动采集子系统具有以下显着特征:
1.世界领先的自动采集功能
Lesisoft的网络信息采集技术是世界领先的,支持任何网页采集中任何数据的准确性。 Lesisoft每天为*敏*感*词*用户提供各种网站服务采集,如果没有高效稳定的采集平台,这是不可能的。
2.支持各种监视对象
它可以实时监控微博,新闻,论坛,博客,公共*敏*感*词*,搜索引擎,留言板,应用程序,报纸和期刊的电子版本网站等。
3.无需配置即可直接监视数千条新闻网站
系统具有针对网站全球的内置监视配置,只需输入关键词,然后自动采集就会输出文章的标题和文本。
4.强大的多语言统一处理功能26禁止9挪用0
它可以自动处理和保存中文,英文,法文,德文,日文,韩文,维吾尔文,阿拉伯文和其他语言。
5.智能文章提取
对于文章类型的网页,您无需配置即可直接提取文章文本和标题以及作者的发布日期等,并自动删除广告,专栏,版权和其他不相关的垃圾邮件
6.完美支持各种网络情况
支持当前流行的Web 2. 0 AJAX动态网站
支持使用用户名和密码自动登录
支持表