c爬虫抓取网页数据(如何轻松定制一个网络爬虫的总体架构环境？)

　　c爬虫抓取网页数据(如何轻松定制一个网络爬虫的总体架构环境？)

　　万维网的大量信息、股票报价、电影评论、市场价格趋势主题以及几乎所有内容都可以通过单击按钮找到。在分析数据的过程中，发现很多SAS用户对网络很感兴趣，但是你获取这些数据的SAS环境呢？有很多方法，例如设计自己的网络爬虫或利用 SAS %TMFILTER 文本挖掘的 SAS 数据步骤中的代码。在本文中，我们将回顾网络爬虫的一般架构。我们将讨论将 网站 信息导入 SAS 的方法，并在内部查看来自名为 SAS Search 的实验项目的实验代码管道。我们还将提供有关如何轻松自定义网络爬虫以满足个人需求以及如何将特定数据导入 SAS Miner 的建议。介绍：互联网已成为有用的信息来源。通常是网络上的数据，我们想在SAS内部使用，所以我们需要想办法获取这些数据。最好的方法是使用网络爬虫。SAS 提供了几种从 Web 爬取和提取信息的方法。您可以使用基本 SAS 数据步骤中的代码，或 SAS Text Miner 的 %TMFILTER 宏。虽然目前不可用，但 SAS Search Pipeline 将是一个强大的网络爬虫产品，并为网络爬虫提供更多工具。每种方法都有其优点和缺点，因此根据您想要实现的抓取，最好对其进行审查。SAS 提供了几种从 Web 爬取和提取信息的方法。您可以使用基本 SAS 数据步骤中的代码，或 SAS Text Miner 的 %TMFILTER 宏。虽然目前不可用，但 SAS Search Pipeline 将是一个强大的网络爬虫产品，并为网络爬虫提供更多工具。每种方法都有其优点和缺点，因此根据您想要实现的抓取，最好对其进行审查。SAS 提供了几种从 Web 爬取和提取信息的方法。您可以使用基本 SAS 数据步骤中的代码，或 SAS Text Miner 的 %TMFILTER 宏。虽然目前不可用，但 SAS Search Pipeline 将是一个强大的网络爬虫产品，并为网络爬虫提供更多工具。每种方法都有其优点和缺点，因此根据您想要实现的抓取，最好对其进行审查。

　　首先，了解网络爬虫的工作原理很重要。在继续之前，您应该熟悉数据步骤代码、宏和 SAS 过程 PROC SQL。网络爬虫概述：网络爬虫是一个程序，具有一个或多个起始地址作为“*敏*感*词* URL”，它下载与这些 URL 关联的网页，提取网页中收录的任何超链接，并以递归方式继续这些超链接标识下载网页。从概念上讲，网络爬虫很简单。网络爬虫有四个职责： 1. 从候选者中选择一个 URL。2. 下载相关的 Web 3. 提取网页中的 URL（超链接）。4. 补充了未遇到的URLs候选集方法1：WEB SAS数据步爬虫中的代码首先创建了一个网站网络爬虫将启动的URL列表。数据工作.links_to_crawl；长度 url $256 inputurl 数据线；运行 为确保我们不会多次抓取同一个 URL，已使用该链接创建了数据抓取。当 web 数据集一开始是空的，但是一个 网站 URL 将被添加到数据集爬虫完成对 网站 的爬取。数据work.links_crawled；网址长度 256 美元；跑; 现在我们开始爬行！此代码需要我们的 work.links_to_crawl 数据集的第一个 URL。

　　在第一个观察“_N_Formula 1”中，URL 被放入一个名为 next_url 的宏变量中，所有剩余的 URL 都被放回我们的*敏*感*词* URL 数据集中，以使其在未来的迭代中可用。nexturl 关闭 %letnext_url datawork.links_to_crawl; 设置 work.links_to_crawl；callymput("next_url", url); 否则输出；跑; 现在，从互联网上下载网址。创建一个文件名 _nexturl。我们让 SAS 知道这是一个 URL，并且可以找到 AT&next_url，这是我们的宏变量，其中收录我们从 work.links_to_crawl 数据集中提取的 URL。filename_nexturl url "&next_url" 创建一个对文件名的 URL 引用，它决定了放置我们下载文件的位置。创建另一个引用文件名的条目，称为 htmlfilm，并将从 url_file.html 采集的信息放在那里。

　　查找更多 urls datawork._urls(keep=url); 长度 url $256 filehtmlfile; infile _nexturl 长度=len；输入文本 $varying2000. len; 放文字；起始长度（文本）；使用正则表达式 网站 URL 来帮助搜索。文本字符串的正则表达式匹配方法，例如单词、单词或字符模式。SAS 已经提供了许多强大的字符串功能。但是，正则表达式通常提供了一种更简洁的方式来处理和匹配文本。做;保留patternID; pattern '/href=”([^"]+)”/i';patternID prxparse(pattern);end 首先观察到，创建 patternID 将使整个数据步骤保持运行。要查找的模式是：“/href= "([^"]+)"/i'"., 表示我们在寻找字符串 "HREF purpose" 表示使用不区分大小写的方法来匹配我们的正则表达式。

　　PRXNEXT 有五个参数：我们要查找的正则表达式，开始查找正则表达式的开始位置，停止正则表达式的结束位置，字符串中一旦找到的位置，以及字符串的长度，如果找到的位置将如果未找到字符串，则为 0。PRXNEXT 还更改了 start 参数，以便在找到最后一个匹配项后重新开始搜索。调用 prxnext(patternID, start, stop, text, position, length); 代码中的循环，显示在 网站 上的所有链接的文本。do while (position substr(text,position+6, length-7); output; call prxnext(patternID, start, stop, text, position, length); end; run; 如果代码找到一个 URL，它will 检索在第一个引号之后开始的 URL 的唯一部分。例如，如果代码找到 href=""，那么它应该保存。使用 substr 从 URL 的其余部分中删除前 6 个字符和最后一个字符 work._urls 数据集的输出。现在，我们插入 URL 代码只是为了跟踪抓取到我们已经拥有的名为 work.links_crawled 的数据集，并确保我们不再浏览那里。

　　currentlink urls我们已经爬取了datawork._old_link；网址“&next_url”;运行；proc append base=work.links_crawled data=work._old_link force；跑; 确保： 1. 我们还没有抓取它们，也就是说 URL 不在 work.links_crawled 中）。2.我们没有排队的url进行爬取（即url不在work.links_to_crawl只添加url我们已经爬过queuedup procsql noprint；创建表work._append selecturl from work._urls where url (selecturl from work.links_crawled) (selecturl from work .links_to_crawl); quit; 然后，我们添加尚未被爬取的 URL，尚未排队 work.links_to_crawl addnew links procappend base=work.links_to_crawl data=work._append force; run;