超级强大的网站文章采集器Fast_SpiderFast转换

优采云 发布时间: 2021-08-24 22:03

  超级强大的网站文章采集器Fast_SpiderFast转换

  超级强大网站文章采集器,这个软件的全名是鸿业文章采集器,英文名是Fast_Spider,属于蜘蛛爬虫程序,用来指定网站 采集海量精华文章,会直接丢弃里面的垃圾网页信息,只保存阅读价值和浏览价值文章的精华,并自动进行HTM-TXT转换。

  相关软件软件大小及版本说明下载链接

  超级强大网站文章采集器,这个软件的全名是鸿业文章采集器,英文名是Fast_Spider,属于蜘蛛爬虫程序,用来指定网站 采集海量精华文章,会直接丢弃里面的垃圾网页信息,只保存阅读价值和浏览价值文章的精华,并自动进行HTM-TXT转换。本软件为绿色软件,解压后即可使用!

  

  软件功能

  (1)本软件采用北大天网的MD5指纹重复算法,对于相似、相同的网页信息,不会重复存储。

  (2)采集Information 含义:[[HT]]代表页面标题,[[HA]]代表文章title,[[HC]]代表10个加权关键词,[[UR] ] 表示网页图片的链接,[[TXT]] 后面的文字。

  (3)蜘蛛性能:本软件开启300个线程,保证采集效率。通过采集100万979文章进行压力测试,以普通网友的联网电脑为参考标准,单台电脑可以遍历200万个网页,采集20万979文章,100万个essence文章只需5天就可以完成采集。

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线