网页视频抓取工具 知乎(如何看待Python中的各种扩展的库-Python（二） )

　　网页视频抓取工具 知乎(如何看待Python中的各种扩展的库-Python（二）

)

　　课程视频：

　　1、 当浏览器请求一个网站时，会从输入到页面显示，并描述请求过程

　　在课程中，我们概述了请求过程，您可以参考下图：

　　

　　来源：网络| 嗨，我是法比安！全栈软件工程师 (townsend.fr)

　　详细过程可以参考：

　　2、本课爬虫可以应用于任何网站吗？

　　理论上是的，每个网站在细节上都会有一些差异，从内容组织到访问方式，我们会在后面的课程中讨论。

　　3、我对爬虫知之甚少。爬虫有什么用？我今天上课没跟上进度。

　　简单的说，就是一个用来获取网络信息的程序。具体可以参考wiki上的定义：

　　

　　4、 无法获取网页的所有代码

　　一些内容是按需加载的。部分网页数据可以通过Javascript脚本和Ajax方式单独加载，可以实现页面的部分刷新。在下面的课程中，我们将通过抓取响应Json文件来获取数据的具体示例。

　　5、 课文中提到的“以拖拽的形式制作网页”是什么软件或者技术，是不是意味着淘汰手写css？

　　拖放主要用于设计内容和布局。内容显示的样式需要详细的 CSS 设置。当然，如果想省事，也可以直接使用现成的CSS框架。

　　6、 我们该如何看待Python中的各种扩展库，随意使用，岂不是大大提高了我们的编程能力？

　　在之前的问答中，我们谈到了是否要重新发明轮子的问题。从培养编程能力的角度来看，从头开始实施更多的练习是有益的，但在实际编程和构建具体项目解决方案的过程中，不一定需要自己从头开发所有模块。如果你有合适的第三方库，最好直接使用。这也是 Python 作为支持最广泛的开源社区的优势。但需要注意的是，一些第三方库可能存在一些不明显的错误甚至安全隐患，使用时要多加注意。

　　7、广告之类的图片怎么知道有链接？

　　有两种典型的实现方式，一种是直接

　　标签放置在标签内容中，以便图像变得可点击。另一种方法是使用 JavaScript 脚本来控制单击图像时触发的事件。单击是跳转到链接。

　　8、可以用爬虫复制百度文档的付费内容吗？有些内容只能预览不能复制。如果是这样，我该怎么办？

　　页面上无法复制的内容基本上有以下几种：一种是JavaScript脚本限制在特定区域的右键和快捷键行为，导致无法复制或弹出提示；另一种是展示图片，图片中的文字不能直接复制；然后使用特殊的编码来传输内容，在显示之前对其进行解码。理论上，只要能显示的文字是可以复制的，对于第一种情况，可以直接在网页源码中获取文字内容，对于第二种情况，可以将图片中的文字转化为OCR 文本。第三种需要分析内容的解码过程，根据解码和显示过程将传输的内容还原为原创文本。

　　9、“爬虫们，爬东西违法吗？如果你自己做网站，如何防止你的网站被爬”

　　关于爬虫的合法红线，可以参考以下文章：

　　我们将在后面的课程中介绍 counter-pick 策略。主要包括两个步骤：第一步是发现对方的恶意爬取行为，第二步是对该行为进行拦截或破坏。

　　10、 很早就听说爬虫是用来刷流量尖峰等的，很好奇

　　狭义的爬虫是模仿用户使用浏览器或App从网站或其他网络来源获取内容的自动化程序；广义的爬虫不限于采集数据，还可以模仿真实用户的访问行为，可以实现自动投票（刷卡排名）、自动访问（刷卡流量）、自动下单（刷卡）秒杀）等，但无论完成什么任务，本质都是一样的。尽量模仿真实用户的访问行为，避免被服务器或服务商看穿。

　　11、 如果网页上的数据格式不统一，比起今天豆瓣上的算法介绍，每个项目的介绍行数不统一，不均匀，我们还能不能使用连续四行不为空的条件？判断是否是标题？

　　当然不是。爬虫数据分析提取的核心是为每条数据找到一个共同的规律，不管是文本层面的规律还是文档结构的规律，只要规律不能用就必须调整及时。，要么修改一条适用于所有数据的规则，要么分别处理不同的情况，实现对所有待提取数据的完全覆盖。

　　12、request安装包在后续项目实践中有什么具体用途？

　　在下一课中，我们将讨论 requests 库的主要用途是用于 HTTP 访问。下载页面和提交信息（填写登录密码、提交订单等）都可以通过请求轻松实现。

　　13、 为什么我的txt文件是gbk编码，但是readlines不能调用

　　windows下默认使用gbk编码，可以参考上一课的Q&A 12：

　　14、 课上讲了爬虫，所以如果要修改搜索到的信息，需要权限吗？

　　一般情况下，除非提供相应的接口或使用黑客技术，否则无法修改服务器上的信息，但可以在本地进行修改（只影响本地显示，服务器端保持不变，刷新后恢复） . 详情请参考：

　　1 请求库有哪些功能？只能在爬虫中使用吗？

　　参考问题12。 requests库可以实现方便的HTTP访问。所有涉及HTTP访问的场景都可以使用，不限于爬虫。

　　16、 虚拟环境和python文件是什么关系？我的终端无法在新文件夹中配置虚拟环境

　　虚拟环境和您的源代码之间没有实际联系。一般为方便起见，在项目目录下创建虚拟环境相关文件，即熟悉的语句如下：

　　python -m venv .venv

　　会在当前目录下创建一个.venv子目录，虚拟环境需要的文件都会放在这个子目录下。虚拟环境激活后，所有用Python进行的操作只会影响当前虚拟环境，你代码中的import只能加载当前虚拟环境中安装的Python库。也就是说，一个虚拟环境可以对应多个实际项目，实际对应的方式可以根据需要进行调整。

　　17、HTML、javascript和ccs是什么关系？他们与python的嵌套相关的东西是什么？听说python也可以做前端。

　　HTML定义了网页要显示什么内容，要显示什么布局；CSS 一次确定每个元素的具体样式；Javvascript通过可以在牙面上运行的脚本代码为网页添加动态响应功能，比如鼠标移动到某个区域自动修改某个元素的样式，点击按钮自动弹出提示，等等。简单来说，HTML 定义页面上“有什么”，CSS 定义页面看起来像“什么”，而 Javvascript 定义“什么”。Python 程序可以下载 HTML、CSS 和 JS 文件，解析和提取内容，甚至“运行”Javvascript 脚本以获得结果。这就是爬虫的基本工作机制。Python作为前端主要是指方面。一方面，可以使用Python开发Web服务器，供客户端浏览器通过HTTP访问服务器本地的HTML、CSS、JS等文件；另一方面，你可以使用 Python 脚本来“生成” HTML 页面，就像我们类中生成的 TXT 文件一样，将内容动态写入网页中。

　　18、 那么xpath helper的作用就是调出代码方便爬行？

　　xpath helper 可以帮助我们获取页面某个元素的xPath，通过修改完整的xPath字符串，得到一个简化的xPath进行数据提取；或验证修改后的xPath 以查看匹配结果是否符合预期。

　　19、 想要实现爬虫，一定要学习HTML知识吗？

　　是的，不了解HTML在数据提取过程中会遇到很多障碍。

　　20、 还是不明白信息的位置和获取方式。网页上的code可以查到，老师提到的标签在网页的位置上也能看懂一点，但是说到爬行就有点糊涂了，不知道怎么抓取它进入程序，如何定期执行或在发生更改时运行它。

　　“采集”链接的技术，我们将在下节课介绍，主要是使用requests库通过http访问。

　　21、 可以用爬虫技术从书签中提取内容吗？那是什么？能不能提取特征，用python过滤信息内容？

　　它是指浏览器采集夹中的书签吗？当然，您可以使用爬虫下载书签对应的页面内容，也可以使用Python程序对信息进行提取过滤。

　　22、html中相同类型的元素一定要有相同格式的路径吗？在文件夹中新建一个文件夹，两者都创建.venv，但是vscode打开大文件，运行小文件夹中的文件时，使用大文件夹.venv。vscode只能打开小文件夹吗？使用它的 .venv

　　相似元素的路径不一定是相同的格式。有必要分析具体的页面。获得的路径最好使用 xpath helper 进行验证，以查看是否覆盖了所有所需的元素。如果VS Code没有自动切换到目录的虚拟环境，可以点击左下角的环境标题：

　　

　　在弹出的解释器列表中选择./.venv/bin/python：

　　

　　23、 能不能告诉我怎么下载名字奇怪的怪东西？浏览器处理风险，我下载完就完成了。

　　首先访问本网站：/s/xphelper 下载 hgimnogjllphhhkhlmebmlgjoejdpjl.rar

　　解压 hgimnogjllphhhkhlmebbmlgjoejdpjl.rar

　　打开浏览器的扩展管理界面，以Edge为例，打开左下角的“开发者模式”：

　　

　　点击右上角的“加载解压后的扩展”：

　　

　　选择解压后的文件夹完成安装

　　24、如何下载python库函数

　　Python标准库自带Python安装，不需要额外安装；第三方库可以直接用pip安装。以requests为例，直接运行即可：

　　python -m pip install requests

　　25、 编译的时候报错，但是在网上搜索的时候，各种说法都有。请问老师有没有更好的网站或者社区推荐的

　　关于异常信息的解释，大家可以关注StackOverflow上的讨论，比较有针对性，质量也比较高。搜索时，您可以添加：

　　 site:stackoverflow.com

　　或者直接使用网站提供的站点搜索。

　　26、open和file在使用时有什么区别？为什么在使用open函数时一定要调用close函数？

　　Python 中没有名为 file 的标准库。使用内置函数 open() 打开文件。详情请参考文档：

　　close() 函数将关闭当前打开的文件并清理响应资源。关闭的好处主要有两个方面：一方面避免了在程序中其他地方访问文件时重新打开同一个文件或冲突，只要将文件写入如果模式不关闭，所有其他以读模式和写模式打开文件的请求会触发异常；另一方面，打开一个未关闭的文件会长时间占用系统资源，造成不必要的资源浪费。

　　27、 老师能深入讲讲Xpath吗？

　　不会深入，只说常用的设置。您可以参考以下快速参考表：