抓取网页数据违法吗( 爬虫自学路径网络爬虫简介什么时候用爬虫网络是否合法)
优采云 发布时间: 2022-01-07 14:16抓取网页数据违法吗(
爬虫自学路径网络爬虫简介什么时候用爬虫网络是否合法)
文章内容
文章内容
前言
爬虫自学路径
网络爬虫简介
何时使用爬虫
网络爬虫是否合法
封装你的第一个爬虫模块
封装请求头
情况一：
情况二：
情况三：
随机请求头
获取网页数据
ID遍历爬虫（顺便限制下载速度）
网站地图
本文摘要
前言
我还是想先嘟嘟几句，虽然你可能已经不耐烦了。目录在最上面，可以点击直接跳转。
之前，它与分散的更新爬虫有关。毕竟，在学校里，我不能自主很多时间。去上课，参加考试什么的。
现在好了，寒假快到了，有系统地整理了一系列爬虫。
嘿嘿，这背后隐藏着一个想复活的昔日博主的心。
大家多多支持，点赞、评论、采集，越多越好☺☺
昨天做了个系列目录，本来是给朋友带的。原来我们俩的本事都差不多，不过我觉得这条路还是很不错的。
将其用作本系列的指南！！！
爬虫自学路径
初步判断是这样的
1、了解网络爬虫和网络分析，顺便聊聊
2、Xpath
3、爬虫缓存
4、动态网络爬取（json）
5、表单交互
6、正则表达式
7、硒
8、并发下载
9、图片、音频、视频下载
10、验证码处理
11、Scrapy
12、来一场实战
13、 再来一场实战
14、 一个人飞吧
如果有什么要增加的，我会在这里谈谈。
网络爬虫简介
至于什么是网络爬虫，那我就不用多解释了。
何时使用爬虫
用于采集不易手动采集的数据。
其实这句话很有内涵，一千个读者就有一千个哈姆雷特。
在我的认知中，这句话的意思是采集某些数据比使用爬虫消耗更多的能量。这个时候不能考虑直接使用爬虫。
我可以这么说。
至于使用爬虫所消耗的精力，需要很长的时间积累经验，基于对自己的足够了解。
它消耗能量，从开始考虑使用爬虫，到取出爬虫程序，再到获取到正确的数据，最后清洗呈现。
其中最耗时的部分是编写代码和测试。
这时候就需要一个现成的框架。后面我们会讲scrapy框架，它是一个非常好的成熟的爬虫框架。
其实我想说的是，在我们学习的过程中，我们编写的爬虫程序中一定要有目的，将不变的部分抽象出来，封装到我们自己的包中。
学了很久C++，一直被这个“臭毛病”困扰，喜欢自己打包“动态链接库”。
网络爬虫是否合法
这部分在之前的《偷偷学Python》系列中已经提到过，这里稍微讲一下。
在深入讨论爬取一个网站之前，我们首先需要在一定程度上了解目标站点的规模和结构。网站 我自己的robots.txt和Sitemap文件可以为我们提供一些帮助（我就问问有没有人真的会看？反正我没看过。爬虫默认可以爬。那些不爬网将默认为不爬网...）
封装你的第一个爬虫模块
要抓取网页，我们首先需要下载它。
至于分析、清洗、存储等，今天就不多说了。
让我们确保这个网页可以下载，对吗？
我不想弯腰，我直接介绍最后的步骤。让我把这个过程模拟成两个人建立外交关系、给予和接受的过程。
封装请求头
什么是封装请求头？今天我是来和你交朋友的，
情况一：
我说：“嘿，兄弟，交个朋友吧？”
你说：“你是谁？”
我说：“你猜怎么着？”
这个时候你的反应是什么？
说完，我对你说：“喂，大哥，既然我们是朋友，你能不能帮我一个忙？五分钟，我要你的全部信息。”
如果你戒备，你不会给我的。
这个更好。
情况二：
几句问候之后，你发现我是一个推销员。获取您的信息并准备向您出售您根本不需要的东西。例如，您可以向头发浓密的您出售快速生发剂。这不是开玩笑吗？！！！
你会关心我吗？一切都是那么赤裸裸。
那么我该怎么做才能将这款生发剂放到您的手中呢？
情况三：
我路过你在大厅等面试通知的时候，走了过去，转过头看了你一眼，又看了你一眼，递给你一张名片：“小子，我是隔壁项目组的组长，你是来面试的？”
你说是
我说：“哦，他们组工作压力很大，看你一头浓密的头发，怕是没经历过洗礼，可惜了。”
然后，我说：“好吧，如果你面试过了，你压力不小可以来找我。这是我的名片。”
呵呵
那我就给你。你收到了很开心。
那么请求头是什么？那是名片。
一张名片告诉即将到来的网站：“我是一个普通的浏览器”。
随机请求头
我们不需要自己准备任何请求头。大量请求使用同一个header不好，会被你屏蔽。
获取网页数据
目前主流的Python编写的爬虫一般都使用requests库来管理复杂的HTTP请求。
ID遍历爬虫部分就不讲了，简单的数理逻辑。
ID遍历爬虫（顺便限制下载速度）
如果我们爬取网站太快，我们将面临被禁止或导致服务器过载的风险。为了降低这些风险，我们可以在两次下载之间添加一组延迟来限制爬虫的速度。
算了，还是要写ID遍历爬虫。
网站地图
说到这张网站地图，我们先来看看它是什么。
站点地图是所有链接网站的容器。很多网站都有很深的连接层次，爬虫很难捕捉。站点地图可以方便爬虫爬取网站页面。通过爬取网站页面，可以清楚的了解网站网站地图一般存放在根目录下，命名为sitemap来引导爬虫，在网站 重要内容页面。站点地图是根据网站的结构、框架、内容生成的导航网页文件。站点地图有助于改善用户体验。他们为 网站 访问者指明了方向，并帮助丢失的访问者找到他们想要查看的页面。
你怎么看网站的地图？
在网站的根目录下，打开robots.txt文件，可以找到网站地图的URL。
看一下CSDN爬虫协议：
底部有这么一行： Sitemap:
自己进去看看吧。
如果你想要它们，你之后将如何攀登。参考上面的一段。
如果你想过滤所有的URL，真的没有人想把它们全部抓取吗？
建议使用正则表达式。
—————————————————
版权声明：本文为CSDN博主《看，未来》原创文章，遵循CC4.0 BY-SA版权协议。转载请附上原出处链接和本声明。
原文链接：
