从网页抓取数据(如何从网页抓取数据中获取网页源代码？框架)

　　从网页抓取数据(如何从网页抓取数据中获取网页源代码？框架)

　　从网页抓取数据一般有两种方式，一种就是获取网页源代码，一种是从http传递到js脚本。你说到的那种则属于第二种，不是靠爬虫机器人，而是写js脚本，让js去读取网页源代码，转换成json数据，就是你看到的了。

　　正如前面说的，这个是采用scrapy框架写spider爬取的。在登录器的配置中可以调用spider获取url地址，之后用cookie对url进行拦截解析。

　　试试scrapy爬虫框架，不要相信exceptionitdoesn'twork之类的，lxml语法不对，

　　题主是在哪看到的？每次感到恶心的都不止一个。小恶心。每次都在反复出现。不建议一开始接触爬虫。先不要自己去写爬虫框架，最简单的模拟登录模块，爬一个页面。做做爬虫代理池即可。先想想爬虫常用的一些功能。(cookie、robots、token、header设置等)考虑考虑lxml语法(简单爬一个页面即可)，再根据自己的实际情况，看看有没有必要学习一下语法。

　　python和xpath完全不是一个级别的。这两个函数大部分作用域都是限定语句块中某一部分或者某一组语句的。高手千万不要乱用js的__next__方法，把不该替换的换掉。或者lxml里也有可能需要__end__方法转换一下。当你觉得学完这一篇就能爬虫成功的时候。往往有这些坑。先自己维护一个练练手。想起来再更。