网页内容抓取工具(网页内容抓取工具的默认fetch的模式及使用方法介绍)

　　网页内容抓取工具(网页内容抓取工具的默认fetch的模式及使用方法介绍)

　　网页内容抓取工具一般都是用requests+beautifulsoup或者item=requests.get(url)直接到网页内容。业务逻辑的内容可以使用python的selenium+webdriver来调用浏览器的功能来获取数据，通过selenium测试的速度是python的10倍左右，webdriver是python3+。还有就是关于网页抓取框架之类的方法。比如python的jieba，flask之类的。

　　如果是对http有一定基础的话可以尝试下beautifulsoup，由于http请求大部分使用get，所以网页内容抓取工具默认fetch的模式。如果网页没有进行http请求就先用bs4来进行简单的搜索尝试，看看能不能直接找到网页的内容，如果能直接拿到数据，做简单的分析。如果不能直接拿到数据，那就直接用逆http或者反爬虫策略。如果网页是js加载的那就试试fiddler抓包调试下。

　　找个好点的c++爬虫工具试试，各家有各家的方案。

　　花瓣tornado+requests库用。

　　软件是个大坑，找清楚用什么东西做可以稍微好点。网站核心代码往往非常复杂。可以先看一下requests库里面用的第三方库就行。例如urllib2（抓取页面的时候首页有很多人都在传值，用了urllib2包可以得到所有页面的值。浏览器把你的参数转换成url，传递给requests是通过requests.get(url,session,session_key)）,json（json字符串就是python中的一个对象，它包含的信息如果有需要的话，可以去httpgetandpost函数取出来。

　　）还有datetime（这个我只看time模块，它里面包含的addtime,multimetype有很多内容可以自己看看）找到一个自己想要的数据源，然后到数据处理模块那里，例如pip一下。