c爬虫抓取网页数据(什么是爬虫网络爬虫（又称为网页蜘蛛，网络机器人）)

　　c爬虫抓取网页数据(什么是爬虫网络爬虫（又称为网页蜘蛛，网络机器人）)

　　什么是爬虫

　　网络爬虫（也称为网络蜘蛛、网络机器人，在 FOAF 社区中，更常见的是网络追逐）是按照某些规则自动抓取万维网上信息的程序或脚本。这段是百度百科上的文字说明。说白了，爬虫就是爬取网页上可见的内容信息，比如天猫首页的信息（见下图），可以爬取价格、商品名称、店铺名称等。, 每月交易和评价信息。当然，有的小伙伴可能会说直接手动记录到excel中即可。为什么需要编写程序？如果你只需要一页或者几页的信息，当然可以手写，但是如果你需要几万页的数据信息，

　　2. 爬虫能做什么

　　爬虫可以做什么应用？如上所述，可以批量抓取网页的数据信息，用于后续业务研究；爬虫还可以爬取深层次的用户个人信息（恭喜，这一步离水表不远了）。（个人理解浅薄，请补充）

　　3. 爬取的几个主要步骤（网页数据爬虫-python）

　　3.1个指南包

　　3.2 请求数据

　　请求数据中需要一个proxy来模拟一个网页，否则后续总会出现爬虫等问题。.

　　3.3 获取数据

　　网页请求完成后，需要进行数据分析。这里的数据分析是网页分析；这里需要加上正则表达式，但是爬取到的数据的格式必须和网页中的数据不同，所以我们需要对数据进行正则化分析，得到我们想要的数据的格式，如下图

　　3.4 保存数据

　　数据以datalist的list类型存储，然后保存。我们可以用excel来保存（少量数据），也可以用数据库来保存。Python支持多种数据库操作，如sql3、Oracle、SQL SERVER等，这里用excel保存。

　　4. 总结

　　通过几个简单的步骤对爬虫有一个初步的了解，得到你需要的数据。下一步是清理、分析和可视化数据。可以用来了解公司的销售活动好不好，也可以用来引导用户推荐，也可以用来做APP冷启动等业务开发。