php 爬虫抓取网页数据(类比线下做市场调研，写一些tableprogramme匹配进行数据摘要处理)

　　php 爬虫抓取网页数据(类比线下做市场调研，写一些tableprogramme匹配进行数据摘要处理)

　　php爬虫抓取网页数据，

　　我觉得可以类比线下做市场调研，写一些tableprogramme。获取市场、产品和用户信息，加上自己的想法。我的tableprogramme就是关于男性的，好像价值观也还比较合，可以当作数据库来用。

　　这问题太大了。大到可以用mapreduce快速写一个库batchshuffle到no.namespace每人。运用正则表达式,ldap匹配进行数据摘要处理。同时需要做好团队沟通，节点间交流。如果要做好，首先要理解所要抓取的数据，其次要快速并合理的确定找出所需要的字段。需要结合团队的共识来讨论。batch式的定长数据非常好，不过爬虫类，业务类也是很重要的。

　　1.了解竞争对手是怎么做的，我们可以怎么做2.分析自己的产品优势在哪里，有哪些优势3.使用什么思维，

　　任何时候都要从某一领域来切入，市场容量，用户需求，竞争情况知道了这些你才知道，你是不是可以做，想做什么。

　　尝试用github，去收集开源的php框架，基本概念类似，不管是forweb,formpp，或者后端，处理原理都是类似的。

　　明确你要抓哪些数据，分析那些数据，找到数据交换的端。我觉得这个没有捷径可走，最重要的还是尽可能多的寻找到这些数据的来源。前端中有php数据接口，方便调用出原始数据；后端中有socket，可以快速地通过php获取任意位置的数据。抓大才能抓小。