如何架构出多线程并发爬虫框架也行不通

　　如何架构出多线程并发爬虫框架也行不通

　　java爬虫抓取网页数据，我们只需要一款爬虫软件便可。几分钟看完了一篇最全的电商网站数据爬取，喜欢的兄弟姐妹可以按图索骥，去赶紧试试。小帅b数据分析课程仅仅只是教你初步的编程，这个网站详细的爬取还是得自己爬。那样爬的效率会高很多，但是还是要下载一些源代码，按照相应的章节学习。

　　方便写爬虫的话，可以用scrapy框架，不方便写的话，可以看lxml库。

　　asyncio。用过imagequest后学习io，后来发现io简直是电商的终极杀器。记住，它能处理mt多图数据。

　　如果你想写一个高效爬虫，请用解释器。可以同时运行nodejs，javascrapy等，学好python和io多线程等，基本上可以达到同时爬两个网站的效果，若遇到异步多线程问题，程序自动切换线程，比你开多个execl一个一个eval要高效许多。或者采用微服务架构等。

　　问题：如何架构出多线程并发爬虫，

　　excel处理不了异步多线程。这么多线程说白了就是同步非阻塞io，

　　你说的excel爬虫是excel工具书吧。理想情况是如果你原有的excel是单线程，比如word，写多线程爬虫一是需要cpu的线程数和处理器的核数，二是你爬取的时候并发要高到一定程度，这样就会同时有多个任务在跑，excel只是excel读写服务的很多子集。这就像java做javaapi兼容和spring兼容的解决方案，如果你想要使用excel，就按我这个方案处理，没必要使用更高级的框架。提高到libxml5框架也行，开多线程是需要操作系统支持的。