WEB基础高性能网页爬虫文章采集器

　　WEB基础高性能网页爬虫文章采集器

　　WEB基础高性能网页爬虫文章采集器为网页通用采集爬虫，无需要配置模板，即可采集全球任何一个网站的全站精华文章。WEB基础高性能网页爬虫文章采集器属于网页蜘蛛爬虫类程序，用于从指定网站采集海量精华文章，将直接扔掉其中的垃圾网页信息，仅保存具备阅读价值和浏览价值的精华文章，自动执行HTM-TXT转换，并抽取标题、正文图片、正文等信息。

　　WEB基础高性能网页爬虫文章采集器特性如下：

　　1、采用清华天网MD5指纹排重算法，对于相像相同的网页信息，直接扔掉，不再重复采集。

　　2、采集信息涵义：［［HT］］表示网页标题［TITLE］，［［HA］］表示文章标题［H1］，［［HC］］表示本文章中出现频度TOP10的前10个权重关键字，［［UR］］表示网页中的正文图片链接，［［TXT］］之后为正文。

　　3、蜘蛛性能：本软件开启300个线程来保证采集效率。通过采集100万精华文章来执行压力测试，以普通网民的联网计算机为参考标准，单台计算机可以在一天内遍历200万网页、采集20万精华文章，100万精华文章仅需5天就可采集完毕。

　　4、正式版与免费版的区别在于：正式版准许将采集的精华文章数据手动保存为ACCESS数据库，免费版不能保存数据到数据库。

　　WEB基础高性能网页爬虫文章采集器操作步骤：

　　1、使用前，必须确保你的计算机可以连通网路，且防火墙不要拦截本软件。

　　2、运行SETUP.EXE和setup2.exe，以安装操作系统system32支持库。

　　3、运行spider.exe，输入网址入口，先点"人工添加"按钮，再点"启动"按钮，将开始执行采集。

　　WEB基础高性能网页爬虫文章采集器使用注意

　　1、抓取深度：填写0表示不限制抓取深度；填写3表示抓到第3层。

　　2、通用蜘蛛模式与分类蜘蛛模式的区别：假定网址入口为“”，若选择通用蜘蛛模式，将遍历“”里面的每一个网页；若选择分类蜘蛛模式，则只遍历“”里面的每一个网页。

　　3、按钮“从MDB导出”：网址入口从TASK.MDB中批量导出。

　　4、本软件采集的原则是不越站，例如给的入口是“”，就只在百度站点内部抓取。

　　5、本软件采集过程中，偶尔会弹出一个或数个“错误对话框”，请不予理会，倘若关掉“错误对话框”，采集软件都会死掉。如果软件死掉，之前已采集的信息，不会遗失。当再度启动软件执行采集，对于先前已采集的信息不会重新采集，可实现良好的增量采集。

　　6、使用者怎么选择采集题材：例如你若果采集 “股票类”文章，只需把这些“股票类”站点作为网址入口即可。