网页文章采集器(为网页通用采集爬虫,无需要配置模板即可采集全球任何一个网站的全站精华文章)

　　网页文章采集器(为网页通用采集爬虫,无需要配置模板即可采集全球任何一个网站的全站精华文章)

　　中越高性能网络爬虫文章采集器是一款通用网页采集爬虫，无需配置模板，即可采集global网站全站精华中的任何一款文章。这个软件的全称是转月高性能网络爬虫文章采集器，属于网络蜘蛛爬虫程序。用于指定网站采集大量力量文章，垃圾网页信息将被直接丢弃。只保存具有阅读价值和浏览价值的精华文章，自动进行HTM-TXT转换，提取标题、正文图片、正文等信息。 高性能网络爬虫文章采集器的特点@如下：1、软件功能：（1)本软件采用北大天王MD5指纹重排算法，对于相似和相同的网页信息，直接丢弃，不再重复采集。（2)采集信息含义：[[HT]]表示页面标题“TITLE”，[[HA]]表示文章title“H1”，[[HC]]表示this文章中的前10个加权关键词@中TOP10的频率，[[UR]]代表网页中的文字图片链接，[[TXT]]之后的文字。（3)蜘蛛性能：本软件开启300个线程，保证采集效率. 压力测试通过采集100万979文章进行，以普通网友的联网电脑为参考标准，单台电脑可以穿越2个磨坊1天离子网页，采集20万力量文章,1万979文章采集只需要5天时间完成。 （4)正式版和免费版的区别在于：正式版允许采集的精面文章数据自动保存为ACCESS数据库，免费版不能将数据保存到数据库中。

　　2、操作步骤：（1)使用前，必须确保您的电脑可以联网并且防火墙没有屏蔽该软件。（2)运行SETUP.EXE和setup2.exe进行安装）操作系统system32支持库。（3)运行spider.exe，进入URL入口，先点击-手动添加-按钮，再点击-开始-按钮，就会开始执行采集。3、使用注意：（1)Grab Depth：填0表示不限制爬行深度；填3表示抓到第三层。（2)一般蜘蛛模式和分类的区别蜘蛛模式：假设URL入口为“如果选择通用蜘蛛模式，它会遍历每一个A网页；如果选择类别蜘蛛模式，你只会遍历“里面”的每一个网页。（3)button “从MDB导入”URL条目是批量从TASK.MDB导入的。（4)本软件采集原则不要跨站，比如给的条目只是爬取百度网站里面。 （5)本软件采集在使用过程中，偶尔会弹出一个或几个“错误对话框”，请忽略，关闭后“错误对话框”采集软件会挂掉。如果软件挂掉，已经采集的信息不会丢失，当软件再次启动执行采集时，已经采集的信息不会丢失。re采集可以实现很好的增量采集 （6)用户如何选择采集theme：比如你想要采集"stocks"文章，只要把那些"stocks""站点作为URL入口即可。