采集文章工具(excel+php+mysql写一个爬虫：1分钟爬2000篇文章)

　　采集文章工具(excel+php+mysql写一个爬虫：1分钟爬2000篇文章)

　　采集文章工具很多，如爱站、站长之家、excelhome等都是提供专业的数据采集工具的，对于新人而言，比较简单一点的，建议使用爱站网爬虫，导入数据后，可以通过几种功能获取到二级页面的一级数据，也就是说直接就能把我们想获取的文章也爬下来；而对于中级以上的采集而言，现在如w3cschool、慧聪数据库、第一财经数据库等网站上都有专门的数据分析站点，可以直接使用数据分析站点内的图表进行分析数据。其实，除了通过上面提到的网站，还有通过app——蝉大师“爬虫中心”来直接爬取文章的相关数据。

　　地址如下，我用的是php+mysql写了一个爬虫，1分钟以内爬了2000篇，可以使用。如果你有开发基础可以直接使用excel+php+mysql写一个爬虫：1分钟爬2000篇文章，

　　我推荐个吧，一个日报内容推送爬虫，

　　阿里新闻客户端-我的文章推送通知你在里面的[发现]-[个人中心]-[小方]-[推送]-[新闻推送]，这个地方可以搜到你想要的，

　　看了下大家的回答，发现虽然都是为了爬天猫等大型的销售数据，但是爬取的页面过多，不一定适合新手学习爬虫，特别是数据量特别大的爬虫，并且目前的技术没有花费太多时间在这个上面，但小规模的情况下爬虫需要对接了天猫很多商品信息，虽然通过api方式，但是难免对于第三方，对的交易交易历史的爬取，要想抓一次都不错。

　　前几天尝试爬取了的销售记录，用的是数据采集，几天时间爬取了2000多条信息，分析了一下，数据采集+统计分析大概需要一个小时左右时间，从爬取信息到下载电子表格差不多一个半小时（因为数据量很大）数据处理中间费用也不小。感觉自己不一定有能力去爬取这么多的数据，除非是对于数据的提取真的有困难，不然还是要一定的经验。

　　但是最近有几个突破口在，需要自己去发现，一个是，通过一个小程序接收天猫里面店铺的交易状态等数据，一个是数据处理，如果大量数据要处理（如满页、平均分布、按照省份、颜色、关键字等去抓取），这些数据会直接给你很大的提升。最近正在看fluency4d的有关内容。fluency4d用到了百度脑图（baiduimages），里面有一系列数据采集、分析等方面的内容，如果有兴趣可以看看。fluency4d上线3月了，内容很丰富，可以借鉴看看，里面提到使用在线的爬虫。