干货分享:超级干货｜Python学习汇总+0基础资料，做数据采集的一些小技巧

　　干货分享:超级干货｜Python学习汇总+0基础资料，做数据采集的一些小技巧

　　我学习 Python 已经有一段时间了。在学习的过程中，我不断地实践所学的各种知识。我做的最多的是爬虫，也就是简单的数据采集，里面有采集图片（这个是最多的……），有的下载电影，有的和学习有关，比如爬虫ppt模板，当然我也写过诸如收发邮件、自动登录论坛发帖、验证码相关操作等等！

　　这些脚本有一个共同点。它们都与网络有关。总是使用一些获取链接的方法。我在这里总结一下，分享给正在学习的人。

　　安装相关

　　python的各个版本其实差别不大，不用太纠结用3.6或者3.7.

　　至于我们经常使用的库，建议大家先了解安装哪些库，安装哪些库。

　　有的同学会纠结，库装不上。百度搜索推荐这个：python whl 是第一个。其中每个库都有不同的版本。选择对应的下载，用pip安装文件的全路径安装。能！

　　例如：pip install d:\requests_download-0.1.2-py2.py3-none-any.whl

　　最基本的抓取站——获取源码

　　导入请求#导入库

　　html = requests.get(url)#获取源代码

　　

　　html.encoding='utf-8'#指定收录中文的网页源码的编码格式，具体格式一般存在于源码的meta标签中

　　对于静态网页

　　网站反“反爬”

　　大部分网站（各种中小网站）都需要你的代码有headers信息，如果没有，会直接拒绝你的访问！大型网站，尤其是门户网站，如新浪新闻、今日头条图集、百度图片的爬虫等很少。@>！

　　对于有防爬措施的网站，大部分可以按照添加UA信息的顺序添加到headers数据（字典格式）中——添加HOST和Referer（防盗链）信息！代码格式 requestts.get(url,headers=headers)

　　UA信息是浏览器信息。它告诉另一个服务器我们是什么浏览器。通常，我们可以采集相关信息来制作一个UA池。我们可以在需要的时候调用，也可以随机调用，防止被网站发现。是的，如果是移动端，一定要注意移动网页和PC端的区别。例如，我们更喜欢移动端作为微博爬虫。其抗爬网能力远低于PC端。@网站 反爬很厉害，可以到手机端（手机登录复制url），说不定有惊喜！

　　HOST信息，网站的主机信息，这个一般不变

　　Referer信息，这是“防盗链”的关键信息。简单来说就是你来到当前页面的地方，破解也很简单，把url放进去就行了！

　　如果上面的方法还是绕不过反爬的话，那就比较麻烦了，把所有信息都写在headers里。

　　终极反“反爬”：学硒，少年！

　　

　　保存文件

　　其实可以简单的分为两类：字符串内容保存和其他内容保存！简单2行代码即可解决

　　a+是文本末尾的附加书写方式，适合字符串内容的书写。注意排版。也可以在'a+'后面加上参数encoding='utf-8'来指定保存文本的编码格式

　　wb为二进制写入方式，适用于找到对象的真实下载地址后，以二进制方式下载文件

　　奖金时间！

　　关于2019 Python 400集高清视频教程，教程内容包括最新资源+基础基础+实战经验。近期想学习python的朋友可以学习一下。说了这么多粉丝，能学到这么丰富的教程吗？小编来告诉你，只要你细心，绝对可以学会的。喜欢的朋友可以采集一份。在外面训练 python 视频教程是非常昂贵的。今天很难跟大家分享。教程就在你面前。学会看自己，希望这些资料对你有所帮助。

　　获取方法：

　　1、点击右上角关注；

　　技巧:干货|最强关键词收集方案之谷歌篇

　　点击上方“蓝字”关注我吧！

　　在上一期文章《》中，我们谈到了使用阿里巴巴国际站获取关键词。但是只用阿里有一个问题，就是由于搜索下拉框和相关搜索的存在，采集到的关键词会比较集中，覆盖面不够广。所以这一次，我们来谈谈如何使用谷歌搜索引擎以其他方式搜索关键词。

　　1

　　谷歌关键词规划师

　　首先，当然是翻墙。打开谷歌Adword，注册邮箱登录账号，里面有Keyword Planners：

　　进入关键词搜索页面进行搜索，如搜索Ledlight，会出现如下页面：

　　可以选择搜索区域，默认是全局的。例如，如果你想搜索美国，你想搜索英国，如果你想搜索那个地区，就在那里搜索。

　　您可以选择搜索语言，英语、*敏*感*词*语、葡萄牙语等。

　　您可以选择是仅使用 Google 的数据库，还是收录 Google 和合作伙伴的数据库。

　　您可以过滤您不想要的关键词，即您不希望这些词出现在您的搜索结果中。例如，您可以过滤掉品牌字词。

　　搜索结果会显示这个词的月平均搜索量，这里选择时间范围。

　　

　　这些功能对于准确搜索关键词非常有用，也有助于市场研究、判断、分析等。

　　然后我们看右边的搜索结果：

　　广告组参考提示，意思是合并 关键词 数据。就是收录搜索关键词的词组，比如LedBulbs，意思是收录Led+Light+Bulbs的热门搜索词。这个功能非常强大和有用，见下文。

　　特定复合词的列表。例如，HomeLed 展示了 23 种流行的组合。你把鼠标放在它上面，会弹出一个非常漂亮的图表，它会显示所有这些。也就是说home+led+light这三个词的组合有23个热门搜索词组，相当于一个catch。你点击它，就会弹出23个单词的所有数据。

　　平均每月搜索热度。这相当于阿里国际站的关键词人气。

　　谷歌确定的卖家竞争程度分为高、高、低。

　　参考出价水平。由于谷歌按点击收费，这里是近似的出价参考值。

　　告诉你，一共有48个单词组合，比如car+led+light，比如outdoor+led+light等，你可以根据自己的需要采集这些关键词。这些 关键词 是一个令人难以置信的集合。

　　在广告组创意旁边，有一个关键字创意。就像刚才点进去的单词组合一样，出现了单个单词的数据，但是更加直观：

　　2

　　客户电子邮件、网站 和面对面交流

　　

　　平时收到客户询盘、邮件和文件时，应注意邮件内容中客户使用的关键词。因为每个客户可能对产品有不同的习惯称呼，所以有些词是他所在地区的常用词，在采集和发布时特别有针对性。

　　浏览客户 网站 时也是如此。顺便注意一下客户对产品、应用、规格等的描述。您可以提取 关键词 进行发布。因为客户描述有时是最专业和最正确的。

　　在面对面的交流和走访中，他有意识地与客人沟通了产品的名称。他曾经搜索产品 关键词，以及他所在地区的产品习惯名称。

　　这些词可能在阿里国际站或谷歌上搜索，搜索热度不高。但是直接来自您的客户是非常有效和精确的词，需要进行整理。

　　3

　　竞争对手平台网站和官网

　　整理完上面的关键词，就可以去平台搜索竞争对手的关键词了。你有这么多的竞争对手，你看看他用的是哪个关键词，你把它们整理出来，数量非常可观。这么多经验被你采集了，就算你是新手，也能走得更远。

　　关键词采集注意事项：

　　日常积累很重要。上面分享的方式，有的可以集中时间整理，有的只能通过日常关注来采集，尤其是和客户相关的，一定要看到才采集。

　　及时整理发布。关键词采集后，还是需要用表单过滤整理，然后及时发布。因为 关键词 是有组织的，所以如果您发布它，只有您的客户可以搜索它。

　　有所作为。有的关键词因为你整理了，你发了，别人没有，你比别人多一个机会和可能性。这就是让你与众不同的地方，不同之处在于竞争力。

　　细心和坚持。冰冻三尺非一日之寒，不积几步也走不了千里。其实人与人之间的差别很小，就在于做事是不是用心做事，能不能坚持做。

　　相关阅读