网站自动采集系统(互联网数据批量自动采集的工具-爬虫（Spider）应用)

　　网站自动采集系统(互联网数据批量自动采集的工具-爬虫（Spider）应用)

　　产品描述

　　在过去的几十年里，随着Web的飞速发展，大量的数据通过Web发布。随着互联网的飞速发展，互联网已经成为海量信息的载体。今天是大数据爆炸的时代。数据是一种资产。数据资产的收购已经成为许多公司发展的重要组成部分。作为互联网数据批量自动化的工具采集-spider，也被应用在各个领域。注重研究和应用。

　　信息采集爬虫系统是根据采购部门的业务需求生成的，对众多平台物料进行价格筛选对比。系统采用爬虫工具对网站的制定数据进行爬取和处理，过程中采用多种方法反爬机制、动态运行、增量爬取等技术最终形成多个供应商的价格对比表和分析图表，减少采购商人工筛选和数据对比的繁重工作量，同时提供合理的可视化图表展示数据，让采购商快速选择性价比最高的材料，有助于公司成本控制.

　　信息采集爬虫系统虽然诞生于采购业务，但整体框架可用于电力、医疗、金融等众多热门行业。可以批量抓取国家统计、医疗数据、金融交易数据等公共网页。，用于满足制作门户首页新闻、产品市场分析、用户行为分析、概率统计等市场需求。

　　产品定位

　　信息采集爬虫系统是使用webmagic爬虫框架开发的应用工具系统。主要用于批量采集和web数据的数据分析。用户根据最终分析报告和可视化图表做出决策。

　　我们为用户解决的问题如下：

　　Ø 解决人员有限、精力不足的问题

　　企业用户面临人员有限、业务复杂的问题。运营管理主要靠经验。无法进行规范高效的采购询价和比价工作，信息经常被遗漏。

　　Ø 解决工作量大，无法直接获取数据的问题

　　由于查询需要查看多个平台报价和网站信息，每次采购材料都需要反复点击网页查看复制的数据，操作重复，工作量巨大，效率高低。

　　对于某些特殊数据，百度搜索或网页无法直接提供相应数据。只有爬取原创数据，利用统计方法进行间接研究和分析，才能得到所需的答案。

　　Ø 解决缺乏历史积累和不可预测性的问题

　　每次采购材料后，材料价格等数据都被埋没了，很少作为后续采购的参考。每一次进货都是一个新的开始，缺乏历史数据的支撑，很难预测未来同期的价格走势。比较价格时很难知道该怎么做。

　　Ø 解决分析方法原创、结论不直观的问题

　　目前企业的分析方法还停留在数据上报阶段。它们充满了数据，无法直观地发现规律和异常，得出的结论往往不准确。

　　产品特点

　　信息采集爬虫系统，技术上采用B/S系统架构和设计理念，为了提高爬虫效率，程序部署在云服务器上，使用Webmagic爬虫框架定制开发特定网站 爬取程序为客户解决了采购询价、比价任务繁重等难题。

　　信息采集爬虫系统是一个业务简单明了的应用工具系统。系统功能主要包括：数据爬取、数据统计预测、数据可视化。

　　Ø 数据爬取

　　通过为每个网站配置相关参数，可以定时自动抓取爬虫程序，提高用户的工作效率。

　　同时，针对每个网站特性，采用了不同的反爬取机制，无需担心被IP封堵，实现对相关网页数据的长期爬取。

　　实现爬取字段的二次处理，支持多接口开发，可与ERP等多种企业管理软件进行数据传输。具有数据存储精度高、传输损耗率为零的特点。

　　Ø 数据统计预测

　　利用统计知识分析爬取数据的差异性和相关性，找出不同指标之间的内外部联系，如时间段和价格的影响、地区和价格的影响等。

　　运用统计理论，结合多因素相关性，总结历史数据变化规律，预测未来数据变化。

　　Ø 数据可视化

　　本系统提供多种数据筛选处理规则，并自带多种分析图表，清晰、形象地展示各场景数据变化的趋势和规律，方便用户快速决策，支持excel导出.

　　同时，系统首页是定制化的可视化页面，可以从ERP等系统中获取其他数据进行更详细的分析，针对各种分析业务场景使用特定的可视化图表来展示和分析统计数据。

　　好处

　　信息采集爬虫系统，采用主流爬虫框架-Webmagic开发爬虫程序，采用ip代理、浏览器模拟操作、增量爬取等技术，规避各种反爬虫陷阱，顺利从指定的爬取数据中网站。

　　该产品的优势在于场景分析和数据分析。系统根据采购业务的具体场景，设计了符合用户查询、比价业务逻辑的查询界面和可视化分析界面。对于设计的业务场景，基本适用于所有公司采购业务数据分析，可以作为其他业务分析的参考。同时，系统采用易于扩展的图表插件，可根据实际业务进行调整和设计，以合适的图像可视化图表。

　　为了兼容市面上其他java开发的程序系统，该系统易于接口扩展和开发，所以采用java编写的webmagic框架来开发爬虫程序。多系统间数据传输准确率高，数据多维度丰富，可以更好地辅助用户进行业务决策。

　　应用

　　1、门户新闻

　　信息采集爬虫系统将电力行业核心发布在互联网网站的信息进行爬取，在后台进行处理，推送到门户进行展示。

　　2、交易数据爬取

　　使用信息采集爬虫工具爬取售电云平台后台的电力交易数据，并采用统计方法进行预测分析，如图2所示。

　　图1、 交易数据预测分析

　　3、用户行为数据挖掘

　　利用信息采集爬虫系统对互联网产品的用户评价进行情感分析，实时监控产品在消费者心目中的形象，及时监控新发布的产品调整策略，如图3 .

　　图2、用户数据挖掘