一个Python多线程爬虫()(采集爬虫)

　　一个Python多线程爬虫()(采集爬虫)

　　一个 Python 多线程爬虫。工作时，开启10个线程抓取新浪网页的数据，抓取并保存页面，根据deep返回页面链接，根据key决定是否保存页面，其中：deep == 0,是最后一次爬取深度，即只爬取页面并保存，不分析链接。当 deep> 0 时，返回页面链接。编写这个采集爬虫的具体要求：1.指定网站爬取指定深度的页面，将收录指定关键词的页面内容存放在sqlite3数据库文件2.程序中每10秒在屏幕上打印进度信息3.支持线程池机制，并发抓取网页4.代码需要详细注释，需要深入了解程序中涉及的各个知识点5.需要自己用python实现线程池函数描述写一个网站爬虫程序，支持的参数如下：spider.py -u url -d deep -f logfile -l loglevel(1-5) - -testself -thread number --dbfile filepath --key="HTML5" 参数说明： -u 指定爬虫起始地址 -d 指定爬取深度 --thread 指定线程池大小，多线程爬取页面，可选参数，默认为 10 --dbfile 存储 t指定数据库（sqlite）文件中的结果数据-key页面中的关键词，获取满足关键词的网页，可选参数，默认为所有页面-l日志文件记录详细程度，越大编号，记录越详细，可选参数，默认spider.log --testself 程序自测，可选参数