文章采集系统(编辑本段文章采集系统过程相关资料功能的开发工具使用.Net)

　　文章采集系统(编辑本段文章采集系统过程相关资料功能的开发工具使用.Net)

　　文章采集系统由（我的世界采集网）历时4年开发。在线信息采集系统基于用户自定义关键词从互联网检索相关数据，对数据进行合理截取、分类、去重、过滤，以文件或数据库的形式存储.

　　内容

　　文章采集系统进程

　　相关数据功能解读

　　展开

　　文章采集系统进程

　　相关数据功能解读

　　展开

　　编辑本段

　　文章采集系统进程

　　系统开发工具采用.Net的C#进行系统开发，数据库采用SQL Server 2000。

　　一、软件系统总体设计要求

　　1.当网站搜索深度为5层，网站搜索宽度为50个网页时，数据召回率达到98%。

　　2.当网站搜索深度为5层，网站搜索宽度为50个网页时，数据准确率大于97%。

　　3.数据存储容量：存储容量≥100G。

　　4.在单个网站中搜索时，网站搜索深度：最大5级网页；网站 搜索广度：最多搜索50个网页。如果超过 60 秒没有结果，搜索将自动放弃。

　　5. 并发搜索强度：10个线程可以同时并发搜索。

　　6.5亿汉字的平均查询时间不到3秒。

　　二、应用系统设计要求

　　1.要求系统多线程采集信息；

　　2. 可以自动对记录进行分类和索引；

　　3. 自动过滤重复项并自动索引记录；

　　三、应用系统功能详解

　　实时在线采集（内容抓取模块） Fast：网页抓取采用多线程并发搜索技术，可设置最大并发线程数。灵活：可以同时跟踪捕获多个网站，提供灵活的网站、栏目或频道采集策略，利用逻辑关系定位采集内容。准确：多抓取少抓取，可以自定义需要抓取的文件格式，可以抓取图片和表格信息，抓取过程成熟可靠，容错性强，可以长时间稳定运行完成初始设置后。高效的自动分类 支持机检分类——可以使用预定义的关键词和规则方法来确定类别；支持自动分类——通过机器自动学习或预学习进行自动分类，准确率达到80%以上。（这个比较麻烦，可以考虑不做）支持多种分类标准——比如按地区（华北、华南等）、内容（政治、科技、军事、教育等） .)、来源（新华网、人民日报、新浪网）等等。网页自动分析内容过滤——可以过滤掉广告、导航信息、版权等无用信息，可以剔除反动和*敏*感*词*内容。内容排序-不同网站相同或相似的内容可以自动识别并标记为相似。识别方法可以由用户定义的规则确定，并由内容的相似性自动确定。格式转换——自动将 HTML 格式转换为文本文件。自动索引——自动从网页中提取标题、版本、日期、作者、栏目、分类等信息。系统管理集成单一界面——系统提供基于Web的用户界面和管理员界面，满足系统管理员和用户的双重需求。浏览器可用于远程管理分类目录、用户权限，并对分类结果进行调整和强化。完善的目录维护——对分类目录的添加、移动、修改、删除提供完善的管理和维护权限管理，并可设置管理目录和单个文件使用权限，加强安全管理。实时文件管理——可以浏览各个目录的分类结果，并进行移动、重命名等实时调整。

　　编辑本段

　　相关数据功能解读

　　配合文章采集系统，整个系统可以在线自动安装，后台有新版本可以自动升级；系统文件损坏可自动修复，站长无后顾之忧

　　1、自动构建功能

　　强大的关键词管理系统

　　可自动批量获取指定关键词的常用相关词，轻松控制用户搜索行为

　　自动文章采集系统四大类内容

　　文章采集 过程中自动去除重复内容，各种内容的聚合量可自由设置

　　三重过滤保证内容质量

　　特别是首创的任意词密度判断功能，为搜索引擎提供了强有力的保障收录

　　自动生成原创主题

　　文章采集第一个以话题组织内容，这是门户网站网站内容制胜的法宝

　　专题内容自动更新

　　不仅可以自动创建话题还可以自动更新，并且可以单独设置各类内容的更新周期

　　原创 标签综合页

　　整个网站集成了统一通用的分类标签系统，不仅让内容关联，还让原创内容页面

　　2、个性化定制功能

　　原创 标签综合页

　　整个网站集成了统一通用的分类标签系统，不仅让内容关联，还让原创内容页面

　　兼容多种静态模式

　　不仅能有效保障收录搜索引擎，还能增加网站的持续访问量

　　任何顶部导航栏设置

　　顶部导航栏可随意添加或删除，使网站高度可定制

　　任意 URL 连接地址名称

　　不仅让你的网站独一无二，还能在一定程度上提升搜索引擎排名

　　支持多个模板集

　　采用模板编译替代技术，即使只改动一个文件，也能做出个性化的界面

　　*敏*感*词*示数量控制

　　可以设置话题页面各种内容的数量，也可以设置每个列表页面的显示数量

　　3、内置站长工具

　　全程记录蜘蛛访问

　　智能识别搜索引擎蜘蛛99%的访问，全程控制蜘蛛的爬取记录

　　自动站点地图创建

　　自动生成百度和谷歌地图，并可分类设置，有效提升网站收录的内容

　　一键查看排名和收录

　　不仅可以查看Alexa排名，还可以准确掌握网站最近收录，还可以添加网站外部链接

　　检查网站中非法的关键词

　　可自动批量查询网站中是否存在国家禁止的违法内容

　　在线自动安装和文件修复

　　setup.php工具不仅可以自动获取授权，自动在线安装系统，还具有系统修复功能

　　后台智能自动升级

　　可自动判断当前需要升级的版本，并自动下载升级，让站长免去更新的烦恼

　　4、高效性能

　　超高效的自动分词技术

　　率先采用数字化词汇和双向分词验证，大大提高了中文分词的效率和准确率

　　高效的动态页面缓存

　　采用子模块页面缓存技术，有效保证系统负载能力和网站的动态

　　代码分段调用技术

　　使系统每次调用最少的程序代码，减少分析时间，有效提高系统执行效率

　　编译模板技术

　　所有未改变的模板只需编译一次，减少模板解析时间，提高访问速度

　　最小化数据读取设计

　　大大降低数据库资源消耗，可支持更多用户快速访问

　　图片缩略图保存

　　默认生成图片文件缩略图并保存在本地，大大降低服务器空间和带宽压力

　　5、全站互动功能

　　个性组功能

　　话题可以转成群组，比论坛有更多的权限控制自由

　　外部个人主页

　　个人页面可以看到发起的话题、订阅的话题、好友

　　我的私人家

　　通过SNS功能，您可以跟踪我的话题动态和朋友的站点动态

　　站内好友系统

　　可以自由添加好友，还可以查看好友动态信息