网站程序自带的采集器采集文章(新闻采集站为例采集程序，请升级你的Python！)

　　网站程序自带的采集器采集文章(新闻采集站为例采集程序，请升级你的Python！)

　　关于网站采集，估计大家都知道著名的优采云采集软件，但是优采云采集程序是收费的，而且很*敏*感*词*无法使用。而且还需要自己手动点击采集，比较麻烦。优采云 和我一样，当然不喜欢天天点自己的。Python作为每台Linux服务器自带的程序环境，用起来太浪费，也不符合我提倡的勤俭节约的精神。以我刚刚搭建的新闻台采集为例，简单分享一下采集的程序。

　　首先，为了避免重复采集，我们需要使用MySQL数据库，不麻烦，因为网站的环境必须安装这个。Python使用的3.X版本默认为2.7版本。如果代码报错，请升级你的Python。教程参考：Centos7.X 将默认Python升级为3.X并安装pip3扩展管理

　　以下程序需要安装 requests、BeautifulSoup 和 pymysql 扩展。如果安装不上，请看我之前的文章或者百度上如何安装python扩展。

　　数据库结构

　　

　　用Python写一个简单的WordPress网站采集程序

　　您不必使用手写代码编写数据库创建。您可以自己手动创建。phpmyadmin的可视化操作应该不难。只是注意id字段需要勾选A_I选择框，即会自动增长。

　　源数据库操作sql.py

　　#!/usr/bin/python3

# -*- coding: UTF-8 -*-

import pymysql

class msql:

    def __init__(self,host,database,user,pwd):

        self.host=host

        self.database=database

        self.user=user

        self.pwd=pwd

    def conn(self):

        self.conn=pymysql.connect(host=self.host, user=self.user,password=self.pwd,database=self.database,charset="utf8")

        #return self.conn

    def insertmany(self,sql,data):

        cursor = self.conn.cursor()

        try:

               # 批量执行多条插入SQL语句

            cursor.executemany(sql, data)

            # 提交事务

            self.conn.commit()

        except Exception as e:

           # 有异常，回滚事务

            print(e)

            self.conn.rollback()

            cursor.close()

    def insert(self,sql):

        cursor = self.conn.cursor()

        cursor.execute(sql)

        self.conn.commit()

        cursor.close()

    def ishave(self,sql):

        cursor = self.conn.cursor()

        # 执行SQL语句

        cursor.execute(sql)

        # 获取单条查询数据

        ret = cursor.fetchall()

        cursor.close()

        return cursor.rownumber

    def mclose(self):

        self.conn.close()

　　主程序getdata.py（随便写，注意和定时任务同名）

　　#!/usr/bin/python3

# -*- coding: UTF-8 -*-

import requests

from bs4 import BeautifulSoup

import sql

import time

import html

def getpage(conn):

    pageurl='https://www.xinwentoutiao.net/xinxianshi/'

    gkr = requests.get(pageurl)

    gkr.encoding = 'UTF-8'

    gksoup = BeautifulSoup(gkr.text, "html")

    article=gksoup.find('ul',attrs={'class':'gv-list'})

    li=article.find_all('li')

    for i in range(0, len(li)):

        singleurl=li[i].find('div',attrs={'class':'gv-title'}).find("a").get("href")

        num=msql.ishave("SELECT * from cj_5afxw where url='"+singleurl+"'")

        if num==0:

            getsingle(singleurl)

            sqlstr = "INSERT INTO cj_5afxw(url,insert_time) VALUES ('"+singleurl+"','"+time.strftime("%Y-%m-%d %H:%M:%S", time.localtime())+"');"

            msql.insert(sqlstr)

            print(singleurl)

            

        else:

            print(singleurl+"已存在")

    msql.mclose()

def getsingle(url):

    gkr = requests.get('https://www.xinwentoutiao.net'+url)

    gkr.encoding = 'UTF-8'

    gksoup = BeautifulSoup(gkr.text, "html")

    title=gksoup.find('h1').text

    content=gksoup.find('div',attrs={'id':'art-body-gl'})

    content.find('button').decompose()

    #content.find('div',attrs={"id": "toc"}).decompose()

    url = 'http://你的采集接口地址?action=save'

    data = {'post_title': title,'post_content':content.prettify(),'post_category':505}

    print(data)

    r = requests.post(url, data=data)

    print(r.text)

msql=sql.msql('127.0.0.1','数据库名','数据库用户名','数据库密码')

msql.conn()

getpage(msql)

#getsingle("https://www.xinwentoutiao.net/xinxianshi/2164624.html")

　　采集接口文件已经在上一篇优采云WordPress发布规则编写教程中分享过了。如果没有，请自行下载。以上代码需要注意：请修改数据表名，我使用的是cj_5afxw，可以根据上面手动创建的数据表名进行修改。数据库连接信息不用说了，自己改。

　　然后把这两个文件放在同一个文件夹，然后去宝塔添加定时任务，选择shell，添加内容python3 /XXX/XXX/getdata.py，设置为每天固定时间执行.

　　

　　用Python写一个简单的WordPress网站采集程序

　　通过日志可以查看每个采集的信息。