ajax抓取网页内容(python爬取数据的一般步骤，用到的工具包括python和BeautifulSoup)

　　ajax抓取网页内容(python爬取数据的一般步骤，用到的工具包括python和BeautifulSoup)

　　今天，我们将通过一个例子来介绍python爬取数据的一般步骤。使用的工具包括python的经典模块requests和BeautifulSoup，并结合新学的任务流工具TaskFlow完成代码开发。

　　我们先来看看要爬取的数据，URL是，通过chrome的开发者工具分析，我们可以很容易的发现后台数据加载的URL是

　　{page_num}/ajax/1/free/1/

　　page_num 的位置是要查询的页面的数据。网页上的概念中有6页数据，所以page_num的值是1-6。

　　图1

　　这里有个小技巧，可以点击图1左上角的清除按钮，先清除加载的URL，再点击原网页的第二个页面，可以在左下角看到新加载的URL图片，点击打开右侧的“预览”，可以看到资金流数据相关的内容，可以确定这个URL是用来加载数据的。

　　在chrome浏览器中输入，打开chrome开发者工具，在网页源码中找到数据所在的table标签。

　　抓取数据完整源码如下

　　import time

import requests

from bs4 import BeautifulSoup

from taskflow import engines

from taskflow.patterns import linear_flow

from taskflow.task import Task

REQUEST_HEADER = {

    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.97 Safari/537.36'}

class MoneyFlowDownload(Task):

    """

    下载资金流数据

    数据源地址：http://data.10jqka.com.cn/funds/gnzjl/

    """

    BASE_URl = {

        "concept": 'http://data.10jqka.com.cn/funds/gnzjl/field/tradezdf/order/desc/page/%s/ajax/1/free/1/',

    }

    def execute(self, bizdate, *args, **kwargs):

        for name, base_url in self.BASE_URl.items():

            # 爬取数据的存储路径

            dt_path = '/data/%s_%s.csv' % (bizdate, name)

            with open(dt_path, "a+") as f:

                # 记录数据文件的当前位置

                pos = f.tell()

                f.seek(0)

                lines = f.readlines()

                # 读取文件中的全部数据并将第一列存储下来作为去重依据，防止爬虫意外中断后重启程序时，重复写入相同

                crawled_list = list(map(lambda line: line.split(",")[0], lines))

                f.seek(pos)

                # 循环500次，从第一页开始爬取数据，当页面没有数据时终端退出循环

                for i in range(1, 500):

                    print("start crawl %s, %s" % (name, base_url % i))

                    web_source = requests.get(base_url % i, headers=REQUEST_HEADER)

                    soup = BeautifulSoup(web_source.content.decode("gbk"), 'lxml')

                    table = soup.select('.J-ajax-table')[0]

                    tbody = table.select('tbody tr')

                    # 当tbody为空时，则说明当前页已经没有数据了，此时终止循环

                    if len(tbody) == 0:

                        break

                    for tr in tbody:

                        fields = tr.select('td')

                        # 将每行记录第一列去掉，第一列为序号，没有存储必要

                        record = [field.text.strip() for field in fields[1:]]

                        # 如果记录还没有写入文件中，则执行写入操作，否则跳过这行写入

                        if record[0] not in crawled_list:

                            f.writelines([','.join(record) + '\n'])

                    # 同花顺网站有反爬虫的机制，爬取速度过快很可能被封

                    time.sleep(1)

if __name__ == '__main__':

    bizdate = '20200214'

    tasks = [

        MoneyFlowDownload('moneyflow data download')

    ]

    flow = linear_flow.Flow('ths data download').add(*tasks)

    e = engines.load(flow, store={'bizdate': bizdate})

    e.run()

　　执行程序后，概念资金流向数据已经存放在dt_path位置，文件名为20200214_concept.csv，内容大致如下：

　　钛*敏*感*词*,1008.88,6.29%,7.68,6.21,1.47,7,金浦钛业,10.04%,2.96

磷化工,916.833,2.42%,37.53,34.78,2.75,28,六国化工,9.97%,4.08

光刻胶,1435.68,2.40%,43.51,44.31,-0.80,20,晶瑞股份,10.01%,42.99

　　至此，以flush flush概念分类的资金流数据的爬取完成，接下来就可以每天定时启动任务，抓取数据进行分析。