采集系统上云之后，如何开发微信小店采集数据？

　　采集系统上云之后，如何开发微信小店采集数据？

　　采集系统上云之后，客户对于采集的分析需求就越多了，过往的数据不是用爬虫就是用代理，形式单一了很多。采集的展现形式渐渐变成了h5，小程序，或者直接搞个微信小店都可以。到底怎么开发呢？首先，我们要搞清楚，到底哪些类型的商品需要一个精准的定位，才能确保你下一步的数据采集变成精准的采集？不同的领域、不同的人群，都是需要个性化定制才能满足的。

　　做了个bi系统以后，我们会发现，用户数据上云后，采集工具变成了采集大文件，采集就不再可行了。定位好目标人群，精准定位市场，才是技术开发的第一步。先来一个老生常谈的问题：采集数据有哪些渠道呢？四个方向：1.sdl/gensim／fasterroot2.webgl3.tensorflow/keras/pyspider／beamer4.手机app数据采集分析01.sdl/gensim(subsetdistributedframework)sdl提供了python，ruby的lib层，很多有趣的命令行脚本，来进行*敏*感*词*的流式的动态分析处理。

　　对于大数据体量的分析，不得不说这是一个非常强大的技术。他们的库配置特别简单，程序只有三十几行，很适合零门槛的机器学习类型的分析，genomelinux和geohashlab也非常好用。我们整理了gensim2.11版本的下载下来，最新的还是3.20.8.1.4406。直接下载：gensim2.11(subsetdistributedframework)，和ml.news的sdl比起来，新建的一些库都被整合进去了。

　　02.webglwebglap是kickstarter众筹中dmg(digitalprojects)做的开源库，最早是通过1k开发者团队/1m来推广的，但是实际上webglap和谷歌地图是最配的，一个实现了mapbox数据的监控，一个实现了webgllayer框架，都支持。03.tensorflow\keras\pyspider／beamer\sas使用tensorflow、keras、pyspider作为分析框架，可以生成pdb(pythoninterpreter)，fullpage，mllib等任何基于python语言的数据可视化库。

　　04.手机app数据采集分析其中手机app数据采集分析最好是基于requests，爬虫，和基于对app特征进行分析。其中requests，在采集基于其它url的数据时，一定要谨慎，搞不好会导致app数据被盗。因为在中国，这个requests是不允许开发者直接拿来使用的。那么我们的数据源是什么呢？结合第二部分谈的四个渠道，我们对应着给技术人员提供了六大驱动力。

　　驱动力之一，很多数据来源于公开，所以可以随意爬取。驱动力之二，由于爬虫和爬虫控制都在了爬虫客户端，所以可以爬取比较多的app。驱动力之三，驱动力可以通过访问app进行实现。驱动力之四，通过内置*敏*感*词*或者v。