网页视频抓取脚本( 下本更改用户页面的api,用户抓取解析程序需要重构)

　　网页视频抓取脚本(

下本更改用户页面的api,用户抓取解析程序需要重构)

　　Python爬取哔哩哔哩主要信息并贡献视频

　　更新时间：2021-06-07 16:08:26 作者：cgDeepLearn

　　本项目的主要功能是抓取B站主要up的部分信息和up主要贡献的视频信息进行数据处理和分析（不得用于商业和其他侵犯他人权益的用途）。有这个需求的朋友可以了解一下这个项目

　　项目地址：

　　项目特点采用了一定的防攀爬策略。哔哩哔哩更改了用户页面的api，用户爬取解析程序需要重构。快速开始

　　拉取项目，git clone到主项目目录，安装虚拟环境crawlv（请参考使用说明中的虚拟环境安装）。激活环境并在主目录中运行爬网。抓取结果会保存在data目录下的csv文件中。

　　

ource activate crawlenv

python initial.py file # 初始化file模式

python crawl_user.py file 1 100 # file模式，1 100是开始、结束bilibili的uid

　　进入data目录查看抓到的数据，是不是很简单！

　　如果需要使用数据库保存以及其他一些设置，请看下面的说明

　　使用说明

　　1.拉项目

　　

git clone https://github.com/cgDeepLearn/BilibiliCrawler.git

　　2.进入项目主目录，安装虚拟环境

　　

conda create -n crawlenv python=3.6

source activate crawlenv # 激活虚拟环境

pip install -r requirements.txt

　　

virtualenv crawlenv

source crawlenv/bin/activate # 激活虚拟环境，windows下不用source

pip install -r requirements.txt # 安装项目依赖

　　3. 修改配置文件

　　进入config目录，修改config.ini配置文件（默认使用postgresql数据库，如果你使用postgresql，只需将里面的参数替换成你自己的即可，后面其他步骤可以忽略）数据库配置选择一个你可以本地安装，参数改成你的。如果需要更自动化的数据库配置，请移步我的DB_ORM项目

　　

[db_mysql]

user = test

password = test

host = localhost

port = 3306

dbname = testdb

[db_postgresql]

user = test

password = test

host = localhost

port = 5432

dbname = testdb

　　然后修改函数获取conf.py中的配置文件

　　

def get_db_args():

"""

获取数据库配置信息

"""

return dict(CONFIG.items('db_postgresql')) # 如果安装的是mysql,请将参数替换为db_mysql

　　进入db目录，修改basic.py的DSN连接数据库

　　

# connect_str = "postgresql+psycopg2://{}:{}@{}:{}/{}".format(kwargs['user'], kwargs['password'], kwargs['host'], kwargs['port'], kwargs['dbname'])

# 若使用的是mysql，请将上面的connect_str替换成下面的

connect_str = "mysql+pymysql://{}:{}@{}:{}/{}?charset=utf8".format(kwargs['user'], kwargs['password'], kwargs['host'], kwargs['port'], kwargs['dbname'])

# sqlite3，mongo等请移步我的DB_ORM项目，其他一些数据库也将添加支持

　　4. 运行爬虫

　　

python initial.py db # db模式，file模式请将db换成file

# file模式会将抓取结果保存在data目录

# db模式会将数据保存在设置好的数据库中

# 若再次以db模式运行将会drop所有表后再create，初次运行后请慎重再次使用!!!

# 如果修改添加了表，并不想清空数据，请运行 python create_all.py

　　

python crawl_user.py db 1 10000 # crawl_user 抓取用户数据，db 保存在数据库中， 1 10000为抓取起止id

python crawl_video_ajax.py db 1 100 # crawl_video_ajax 抓取视频ajax信息保存到数据库中,

python crawl_user_video.py db 1 10000 #同时抓取user 和videoinfo

# 示例为uid从1到100的user如果有投稿视频则抓取其投稿视频的信息，

# 若想通过视频id逐个抓取请运行python crawl_video_by_aid.py db 1 1000

　　程序中进行了一些爬取率设置，但是每台机器的爬取率对于不同的cpu和mem是不同的，请酌情修改

　　太快太慢请修改每次爬取的sleepsec参数，ip会限制访问频率，超速会导致爬取数据不完整，

　　之后会加上运行参数speed(high,low)，不需要手动配置speed

　　爬取日志在logs目录下

　　user、video分别是user和video的爬取日志

　　storage 是数据库日志。如需更改日志格式，请修改logger模块

　　在linux下运行python...先于nohup，例如：

　　

nohup python crawl_user db 1 10000

　　程序输出保存文件，默认保存在主目录下的nohup.out文件中。添加> fielname 将其保存在设置文件中：

　　

nohup python crawl_video_ajax.py db 1 1000 > video_ajaxup_1_1000.out # 输出将保存在video_ajaxup_1_1000.out中

　　在程序多线程使用的生产者-消费者模式下，生成程序运行状态的打印信息，类似如下

　　

produce 1_1

consumed 1_1

...

　　如果想跑得更快，请在设置程序后注释掉打印程序

　　

# utils/pcModels.py

print('[+] produce %s_%s' % (index, pitem)) # 请注释掉

print('[-] consumed %s_%s\n' % (index, data)) # 请注释掉

　　更多的

　　项目是单机多线程。如果要使用分布式爬取，请参考Crawler-Celery

　　以上是python爬取Bilibili的主要信息和提交视频的详细内容。关于python爬Bilibili的更多信息，请关注Script Home的其他相关文章！