php抓取网页title(编程要求请仔细阅读代码代码进行测试：预期输出：html加载 )

　　php抓取网页title(编程要求请仔细阅读代码代码进行测试：预期输出：html加载

)

　　内容

　　任务详情

　　这一关的任务：编写一个爬虫来爬取网页的标题。

　　相关信息

　　为了完成这个任务，需要几个基本技能。首先，你需要对 Python 语言有一定的掌握。了解其中的 Urllib 库、Re 库、Random 库。其中，Urllib库主要实现网页的爬取。Re 库实现了数据的正则化表示。Random 库实现数据的随机生成。

　　网络爬虫是根据一定的规则自动爬取互联网信息的程序或脚本。爬虫的行为可以分为三个部分：

　　网络爬虫

　　在使用Python进行数据爬取的过程中，我们首先需要了解爬虫的基本技能树，包括静态网页采集。动态网页采集，爬虫框架设计和数据存储。

　　在获取静态网页的过程中，需要涉及到正则化规则和一些Python库。比如 Request 和 beautifulSoup。在动态网页爬取过程中，需要解决验证码的自动识别问题。在爬虫框架设计过程中，需要掌握Pyspider和Scrapy。在数据存储过程中，需要掌握CSV、EXCEL TXT等格式文件和MongDB等数据库。

　　网络爬虫：加载

　　加载是将目标网站数据下载到本地。主要步骤如下：

　　实际操作：抓取静态网页步骤

　　网络爬虫：动态加载

　　有些页面的数据是动态加载的，比如Ajax异步请求。网页中的一些数据需要浏览器渲染或者用户的某些点击和下拉操作触发，即Ajax异步请求。

　　当面对动态加载的页面时，我们可以通过抓包工具分析某个操作触发的请求，并使用智能工具：selenium + webdriver，通过代码实现对应的请求。

　　网络爬虫：解析

　　从加载的结果中提取特定数据。加载的结果主要分为三类：html、json、xml。

　　编程要求

　　请仔细阅读右侧代码，结合相关知识，补充Begin-End区代码，编写爬虫爬取网页标题。具体要求如下：

　　测试介绍

　　该平台测试您编写的代码：

　　预期输出：

　　html获取成功的标题匹配成功

　　import urllib.request

import csv

import re

#打开京东，读取并爬到内存中，解码, 并赋值给data

#将data保存到本地

# ********** Begin ********** #

data=urllib.request.urlopen("http://www.jd.com").read().decode("utf-8","ignore")

urllib.request.urlretrieve("http://www.jd.com",filename="./step1/京东.html")

# ********** End ********** #

#使用正则提取title

#保存数据到csv文件中

# ********** Begin ********** #

pattern="(.*?)"

title=set(re.compile(pattern,re.S).findall(data))

with open("./step1/csv_file.csv", 'w') as f:

f_csv = csv.writer(f)

f_csv.writerow(title)

# ********** End ********** #