网页音频抓取软件( 1.数据收集2.数据建模数据可视化阶段提供巧妙的工具 )
优采云 发布时间: 2021-10-12 13:15网页音频抓取软件(
1.数据收集2.数据建模数据可视化阶段提供巧妙的工具
)
图片来自网络：
在数据科学项目的任何阶段，Python 都可以提供相关工具。所有数据科学项目都收录以下 3 个阶段。
1.数据采集
2.数据建模
数据可视化
Python 可以为这三个阶段提供非常聪明的工具。
数据采集
1) 美汤
数字海洋
数据采集包括从网页中获取数据，python可以为此提供一个叫做beautifulsoup的库。
该库可以有序地解析和存储 Web 内容。例如，库会根据标题单独存储，包括存储所有标签，并在页面上呈现一个非常简洁的URL列表。
例如，查看“爱丽丝梦游仙境”中一个故事的简单网页。
网页截图
显然，可以从中获取一些html元素。
1.标题——睡鼠的故事
2.页面文字
3.超链接——Elsie、Lacie 和 Tillie。
Soup 可以轻松提取这些信息。
该工具可以从 HTML 和 XML 文件中提取数据并且性能良好，因此成为导航、搜索和修改解析树的常用方法。使用这个工具通常可以节省程序员的工作时间，从几个小时到几天不等。
2) Wget
图片来自网络：
下载数据，尤其是从网页下载数据，是数据科学家的重要任务之一。Wget 是一个免费程序，它以非交互方式从网页下载文件。由于非交互特性，即使用户未登录，程序也可以在后台运行。程序支持HTTP、HTTPS和FTP协议，并且可以通过HTTP代理进行检索。因此，下次从网上下载一张网站或所有图片时，可以考虑使用wget。
3) 数据 API
除了获取或下载数据的工具外，还需要实际的数据。数据 API 在这方面非常有帮助。Python 中有很多 API 供您免费下载数据。例如，Alpha Vantage 可以提供全球股票、外汇和加密货币的实时和历史数据。数据 API 拥有长达 20 年的数据。
例如，我们可以使用 alpha vantage API 提取有关比特币每日价值的数据并绘制它：
绘制的图像
API的其他用途如下：
·开放通知API-NASA和国际空间站数据
· Exchange Rate API — 欧洲中央银行公布的当前和历史汇率
用于数据采集的几个API
数据建模
如本文所述，数据清理或平衡是数据建模之前的重要步骤。
1)不平衡学习
Imabalanced-learn 用于平衡数据集。与其他类别相比，如果同一级别或同一类别的数据样本在比例上存在较大差异，则说明数据集是不平衡的。这可能会导致分类算法面临巨大的考验，最终会偏向数据较多的类别。
例如，来自该库的名为 Tomek-Links 的命令有助于平衡数据集：
不平衡的数据集
2) Scipy 生态系统 — NumPy
图片来自网络：
通过python的scipy栈，对实际数据进行处理或建模。SciPy Stack for Python 是一组专为 Pytho 中的科学计算而设计的软件。Scipy 生态系统收录许多有用的库，但 Numpy 可以说是其中最强大的工具。
NumPy全称为Numerical Python，是构建科学计算栈的最基本软件包。它为矩阵运算提供了许多有用的函数。如果你用过 MATLAB，你会立刻发现 NumPy 不仅和 MATLAB 一样强大，而且在操作上也非常相似。
3) 熊猫
Pandas 可以提供数据结构、处理和操作数据。称为数据帧的二维结构是最流行的结构。
Pandas 是数据处理的完美工具，专为快速简便的数据操作、聚合和可视化而设计。
数据帧示例——Shanelynn
数据可视化
1) Matplotlib
Matplotlib 是来自 Scipy 生态系统的另一个软件包，它可以轻松生成简单而强大的可视化。该软件是一个二维绘图库，可以生成出版质量的图形，并具有多种硬拷贝格式。
以下是 Matplotlib 输出的示例：
条形图
其他例子
取自 Matplotlib 文档
2) Seaborn
Seaborn 是一个基于 matplotlib 的 Python 数据可视化库。它主要用于绘制有吸引力且信息丰富的统计图形并提供高级界面。该软件主要是关于
注意可视化，例如热图
Seaborn 文档
3) MoviePy
MoviePy 是一个用于视频编辑的 Python 库，可以剪切、采集、插入标题、合成、处理视频以及创建自定义效果。该软件可以读取和写入所有常见格式的音频和视频，包括 GIF。
4）额外的 NLP 工具 — FuzzyWuzzy
在字符串匹配方面，这个声音工具非常有用。这个工具可以进行快速的操作，比如字符串比较比率、分词比率等。
