转自爬虫学堂：文章采集功能本身的问题怎么避免

　　转自爬虫学堂：文章采集功能本身的问题怎么避免

　　文章采集功能本身的原理已经回答过了，现在再来讨论下抓取过程中遇到的问题。转自爬虫学堂：python爬虫抓取的时候，下载的数据丢失问题,怎么避免。

　　1.使用插件logging2.用beautifulsoup提供的link过滤方法，

　　还需要用正则表达式，

　　抓取无非就是两种方式：抓包；使用工具文件导入。这里我介绍两种方式：爬虫和爬虫框架。1.爬虫：使用正则，参考scrapy，这种方式没法编程，就是把需要的数据发送给相应的接口，该交给爬虫去抓的抓取，当然，完成后返回一个html文件，可以保存为html文件。2.爬虫框架：简单说明一下，python提供了5种爬虫框架：doc-requests爬虫框架：纯python实现，并且可以做出可复用的功能，可以爬取文本数据，图片，搜索结果等等，需要安装pip。

　　scrapy-redis爬虫框架：用django实现，redis也是python调用数据库最好的选择。elasticsearch数据库爬虫框架：使用elasticsearch实现，安装与pip相关的工具。scrapy-shell爬虫框架：运行于python-shell。1.首先看看爬虫原理。如果是抓取静态网页，比如像新浪的微博的话，在selenium-webdriver里使用就可以了，复制用户信息的数据导入到selenium-control，在dir菜单里，选择network，选择页面加载数据；或者说利用gitbranch命令加载一个项目，它是静态页面导入的，并且带有地址信息，一般用户调用这个就可以抓取页面了。

　　2.怎么用python爬取其他网站页面数据呢？还是要通过抓包工具scrapy，除了抓包，还有python库的第三方支持工具logging。通过python库logging或者requests里的相应功能抓取。例如某网站有403log，需要抓取403info。你就可以使用twitterplugin-records.spyder.tools来发送给selenium进行抓取。

　　fromdocumentimportinfofromloggingimport*defevent_set_format(page,page_method):page_method='//403'#print(page_method)因为是403这种，直接找到403调用发送过去ifpage_methodnotinpage:print('recording')ifepoch==403:print('loggedwith403,capture:',epoch)else:print('error')ifname=='_system':print('用户名')breakelse:print('用户密码')#event_set_format(page,username='kungjiajiang',password='admin')3.为什么用python库logging而不是phantomjs呢。