事实:大数据采集的要求将更为复杂的应用场景和服务

　　事实:大数据采集的要求将更为复杂的应用场景和服务

　　采集系统上云将需要花费大约年的时间，成本也可能达到万元。如果考虑一次性的支出，一年大约需要24万元的投入。如果要收回成本，得需要5年的时间。大数据降低了采集人力成本、不再要求人人都掌握编程能力。并且对许多采集的任务、尤其是涉及模拟的信息采集、以及中间数据的加工、分析处理等都提供了透明的数据接口与服务。

　　大数据采集将需要具备较强的信息收集能力，非数字化采集、信息的传输及数据的交换能力。并且对采集设备要求高，需要有4g（wifi）网络和大数据运算等软硬件技术的支持。大数据采集在大数据时代，海量数据被海量数据创建模型，涉及到算法、数据开发、数据预处理、数据分析等方面，大数据采集的要求将更为复杂。更多干货内容和知识分享可以关注专栏：python数据科学家。

　　抓取大数据要看大数据的规模、技术是否成熟以及有无其他应用场景和数据来源，一般来说，一个普通的python爬虫人就可以完成数据采集的工作，如果有复杂业务需求，还可以考虑应用spark和hadoop做分析，要知道，大数据的效率不仅仅是采集能力，还包括相关算法、数据模型、各个平台或者第三方框架的整合等方面，在不同的应用场景里采集数据会有不同的技术，有可能小公司无需这样高端的技术就可以搞定。

　　一般一个python爬虫人，单次应该能采集的数据最多6到8个格子，如果有复杂业务需求，或者平台或者采集框架等更复杂的场景，则最少也要10个才可以。不同的大数据应用场景的采集规模也不同，一般如果有集中数据采集和存储，对于采集速度、集中数据流水，处理运算灵活性，以及可用的爬虫代理等一系列要求，这种规模的爬虫就可以考虑作为主要采集对象。

　　对于采集工具的选择，如果有大型的系统化的采集业务，如mongodb和spark应用场景等，就可以考虑自己建立一套采集系统或集群来完成整个数据的采集工作。对于需要数据分析处理、搜索和可视化的，规模则会缩小到3-5个格子。如果数据基本都是来自民众自助网站，则可以考虑通过爬虫抓取来存放在数据库中，通过传输数据集来处理。

　　对于没有这些系统化解决方案或对这些不熟悉的，则可以考虑采用硬抓包或者弱读取snmp这些强制保证安全的方式来完成采集。总之，选择方式的关键是你能否对现有的采集方式不满足场景提出能够解决的需求或者你能否发现更好的方式。可以通过我分享的一些简单测试的例子进行测试：数据获取，保证一定安全性fawave数据爬取，获取响应时间和采样规模公众号爬虫，保证一定安全性xautocode数据抓取，采样规模可扩大到10到100多个pdf内。