网页数据抓取怎么写(iOSpython爬虫学习iOS开发有一段时间了,物品等数据怎么获取)
优采云 发布时间: 2021-09-30 18:19网页数据抓取怎么写(iOSpython爬虫学习iOS开发有一段时间了,物品等数据怎么获取)
iOS 蟒蛇爬虫 LoL
我已经学习了一段时间的 iOS 开发。最近想做个自己的App来玩玩玩。比较喜欢玩LOL,所以想尝试在LOL数据库里做一个App。那么问题来了,这么多英雄、物品等数据怎么弄啊,你自己敲不出来。作为程序员,你怎么能自己做呢?这时候就可以牺牲神器Python了,直接上正题吧。
一、 查找数据
要获取数据,您必须首先找出数据的可用位置。各大游戏媒体网站都有自己的数据库,这里我选择官方数据库,地址:LOL官方数据库。
[LOL官方数据库]()
英雄、物品、技能、符文、天赋一应俱全,数据也是最新的。OK,猎物找到了,开始狩猎前需要做一些准备。
二、 准备
python filename.py
三、 网络分析
我们要抓取的数据包括图片、文本或文件。图像和文件通常是一个地址。文本可能存在于文件中,也可能直接写在网页的源代码中。因此,我们首先分析网页,熟悉战场。
在Safari中打开LOL官方数据库,点击菜单“开发”-“显示页面源文件”或按快捷键alt+command+a/u,进入开发者工具,点击“元素”选项卡
Safari 开发者工具
当我们将鼠标移动到不同的代码行时,网页中当前代码对应的元素就会被选中,可以帮助我们快速定位关键代码。我们先试着找到九尾妖狐头部的图片地址,如上图所示。
.
四、一个小测试
现在我们将尝试将这张图片下载到本地。
创建Python文件,保存时可以使用VSCode新建一个后缀为.py的空白文件,也可以在终端执行命令
cd Desktop/ //进入Desktop文件夹
touch filename.py //在当前文件夹内新建文件
用编辑器打开文件并编写代码:
#-*-coding:utf8-*-
import os, requests
img_url = "http://ossweb-img.qq.com/images/lol/img/champion/Ahri.png"
# 截取文件名
img_name = os.path.basename(img_url)
# 下载图片
img = requests.get(img_url)
# 打开本地文件
# 'wb'表示以二进制写入模式打开文件
file = open('/Users/apple/img//' + img_name, 'wb')
# 写入文件
file.write(img.content)
# 关闭文件
file.close
这里用到了两个库,os和requests库,os python自带,requests需要手动下载并在终端执行
pip install requests
这是一个简单的下载保存的例子,但是已经可以满足我们的需求了,我们只需要修改一下就可以完成我们的目标。
未完待续