采集 工具(采集工具和传统的爬虫一样，有很多可以采集的目标)

　　采集 工具(采集工具和传统的爬虫一样，有很多可以采集的目标)

　　采集工具和传统的爬虫一样，有很多可以采集的目标。目前推荐的采集工具主要是scrapy的spider和beautifulsoup。工具推荐如下。scrapyspiderscrapyspider工具推荐：-spider-extractor/-spider-extractor/beautifulsoupbeautifulsoup采集工具推荐：-spiders/styleguide/2.采集门户网站的内容可以采用selenium+phantomjs（google的selenium）+websocket。

　　比如百度搜索可以采用phantomjs（并发性能较差），google搜索可以采用websocket（成本低）。examplescrapyspider工具推荐：。

　　scrapy是一个非常优秀的开源爬虫工具，但是对于新手来说采集门户网站，社交网站，新闻网站显然比爬虫游戏更加简单和容易实现。我个人采集网页门户网站，社交网站的经验比较少，所以谈谈我这几年爬虫经验总结的一些规律供新手参考：1采集网页门户网站：爬虫门户网站采集包括了中国几十个门户网站的信息，包括新闻，视频，在线课程，股票，等等。

　　我个人采集过来的一般都是新闻类网站，scrapy自带是不带抓取功能的，所以要用户手动通过爬虫采集，这个过程对新手来说不是特别友好。2采集社交网站：这个网站用scrapy采集效率会比较低，一般采集微博，微信的内容比较简单。当然，对新手来说可以通过自定义一些关键字来实现。比如开始我也是通过关键字来采集一些关键字。

　　比如qq，微信，电子邮件等等，效率非常低，当然，如果你自己定义的关键字达到上千这个数量级，效率会大大提高。3用scrapy爬取新闻：常见的新闻网站主要包括搜狐，新浪，凤凰，网易等，国内最大的新闻门户是bat，这几个网站采用的方式和采集方式都差不多，采用的数据抓取方式也差不多，这里不赘述。综上：对于新手来说，爬虫门户网站和社交网站采集非常容易上手，也没有爬虫的语言是学习起来非常困难的问题，只要你踏踏实实的用正确的方法做，一般都是可以完成的。

　　上面都是采集流程，下面说一下采集技巧：1抓取后一定需要转换一下网站类型，将google搜索的数据采集过来。举个例子，一个采集“如何生成哈希链接“的网站，因为google的抓取，百度采集流程相似，所以不适合采集，因为这个网站即使打开页面，你依然没有办法进行一些正常的操作。将之前抓取过来的内容进行转换，去掉后缀，做一个next可以变成个能够进行正常操作的网站，这样的网站效率非常高。

　　2采集网站尽量避免设置页面头部，因为这样的网站往往没有内容让你采集，甚至于加载一个网页的servlet包还需要做操作（例如访问页面后发送ajax请求），这个非常。