网络掘金者信息采集软件 采集实例

　　网络掘金者信息采集软件 采集实例

　　网络掘金者信息采集软件

　　采集实例

　　1、如何降低一个数据采集站点

　　一个网站要想发展，大量的内容咨讯是最基本也是最关键的。网络掘金者是款通用的信息采集、网站抓取软件，任何网站任何有规律的信息都可以采集下来，并可以手动添加到任意类型的数据库中。

　　《网络掘金者信息采集软件》主要的用途是通过Internet迅速搜集剖析出符合您的条件的网路信息并整理成数据库，并通过排序、过滤、自动修复数据记录等操作将其加工成数据库。对于须要登陆能够听到信息内容的网站，网络掘金者可以实现轻松登陆并采集，即使有验证码也可以穿过登陆采集到您须要的信息。是任何做营销工作的单位、个人借助互联网挖掘潜在顾客的优秀工具。除了可以方便地降低采集文章/信息的站点外，还可以快速降低采集数据的站点。常见的数据如，房产信息，交友信息，企业名录，商品信息，供求信息，职位信息，新闻、小说等。客户可以借助那些数据举办销售，辅助企业决策，了解行业动态等；

　　若有须要订制开发和设计的，请直接联系我公司。同时,如果您在使用过程中,遇到新的无法解决的问题,可反馈给我们(E-mail: ),我们会及时给与解答.

　　南京投石科技*敏*感*词*金先生QQ:2613876

　　下面,我们先看一个典型的网路数据采集需求。

　　图1 房源信息列表

　　图2 房源信息详尽信息

　　客户需求：软件每隔5分钟或更短的时间检测图1上的是否有最新的房源信息更新，如果有最新更新，网络掘金者则将相应的房源详尽信息采集到本地数据库，客户要求才能采集到房源详尽页面上的各个数组，包括地址、联系方法、小区名称、建筑面积、户型等。

　　下面，我们来看一下“网络掘金者是怎样实现的吧！

　　2. 创建采集站点2.1 输入信息源网站基本信息

　　图3 站点基本信息

　　说明：

　　2.1.1“采集图片另存为”指若果采集的网页内容中收录了图片，则会采集图片将储存的网路路径。如果采集的内容收录了超链接，例如图片，供求信息等内容的超联接等，那么须要将这种图片的链接替换成您本地的路径，当然这种都是在您有类似须要的情况下。

　　2.1.2过滤采集内容中的HTML标签是指从采集的数据中，过滤掉不需要的标签。通过重新配置来设置数据库，目前支持Access和SQLServer两种数据库。

　　2.2 采集入口设置

　　图4 采集入口设置

　　说明：1、自定义采集页面

　　a． 手动输入采集页面的网址：直接输入须要采集信息的页面的地址，地址之间用“#”隔开。例如: 。

　　b． 批量设置采集页面地址：如果须要采集信息的页面的地址，具有一定的规律性，可以采用批量设置。

　　2、自动采集页面设置

　　a、采集列表范围设置：如图1是一个典型的采集列表页面，我们须要的是该页面上的部份链接（“登记时间”和“当前页次”之间的联接）。因为该页面还有分页页面，所以还要设置分页设置。

　　B．采集页面URL设置：在设置完上一步骤过后，通过该设置过滤出须要的设置。

　　C．测试设置：完成以上设置后点击测试，测试是否剖析须要的链接，如果不正确，还须要进一步调整原先的设置。

　　2.3 采集字段设置

　　图5采集字段设置

　　说明：1、基本设置：字段名称最好为英语，因为个别数据库不支持英文数组名；

　　然后按照采集后的数据设置数组类型，如果是文本，字段类型数值最好设置大点，否则可能采集到的数据不能正确插入数据库。

　　如果不钩选“采集结果准许为空”，那么假如采集结果中该数组数据为空时，则采集的该条数据则不能插入数据库。字段开始处特征值和数组结束处特征值都必须是该页面上的惟一值。

　　2、采集结果提取设置：通过编撰正则表达式，从采集的数组中提取出数据。例如：采集的数据为“Email:”，我们只须要其中的电子邮件地址，那么就在该设置中，选择E-mail类型。

　　3、采集结果替换设置：可以将采集数据中个别字符替换成我们须要的字符。例如：采集数据为”网络工程师”，那么设置源内容为“网络”，新内容为“软件”，那么我们得到的数据就是“软件工程师”。

　　2.4 其他设置

　　图6 其他设置

　　说明：1、系统设置:“最大线程数”指分配多少线程来执行该任务，线程数越多采集速度越快，这依照您机器的配置调整。“页面恳求最大重试数”指一个页面重试多少次，因为网路网速的情况，可能一次恳求并不能得到页面数据，所以须要多次恳求。“一次取信息最大数”指采集该站点多少数据，某些站点更新数据信息有限，所以有些陈旧的数据，即使采集下来也没有意义，所以通过该设置，可只采集最前面的最新数据即可。

　　2、循环采集设置：例如须要采集BBS峰会的贴子回复信息，回复信息的格式都是一样的，通过该设置,可以采集下来所有的回复信息。

　　3、编码方法：网站的编码方法。

　　4、需要登入：某些网站需要登入后才会浏览信息，所以先要登入该网站。

　　2.5 完成设置

　　图7 完成设置

　　说明：确定以上设置都点击完成。

　　3采集站点

　　建完站点后，钩选上须要运行的任务，然后点击工具栏上的运行任务，开始采集数据。

　　如果软件正处于“采集状态”，我们可以选择“暂停采集”和“停止采集”。如果您须要更改任务配置，可以先停止任务，然后双击任务，将弹出更改任务属性的窗口。

　　图8 扫描档源

　　好了，你如今可以离开坐位，活动一下筋络，我们的网路掘金者软件开始采集该站点数据信息了。

　　图9 采集结果图

　　4. 后记

　　上面流程，我们是以一个采集房源信息，作为演示事例，描述了怎样采集数据的详尽步骤，采集得到的数据可能还须要您自己的再度处理，这里就不再赘言。同样，您可以采集新闻、职位急聘信息、供求信息等更多行业信息。

　　网络下载地址：

　　软件名称：网络掘金者信息采集软件

　　软件版本：V1.0

　　软件容量：1.28MB

　　软件类型：简体中文/国产软件/共享版

　　软件分类：网络辅助

　　运行环境：Win9x/NT/2000/XP/

　　联系EMAIL：

　　开发商：

　　界面预览：

　　下载地址：