自动抓取网页数据(Python3基本语法，抓取境外投资企业（机构）名录 )

　　自动抓取网页数据(Python3基本语法，抓取境外投资企业（机构）名录

)

　　【新手任务】

　　老板：我们在海外市场，获得投资人很重要。去抄所有的境外投资企业（机构）给我。

　　任务.png

　　一共2606页，点下一页，然后ctrl+C，然后Ctrl+V，准备复制到天亮。环顾四周，新来的实习生都已经回学校做毕业论文了。

　　【解决方案】

　　知识点：Python 3基础语法，splinter库和xpath基础知识

　　情况1：

　　Python使用splinter库来控制chrome浏览器，打开网页，获取数据。掌握境外投资企业（机构）名单。

　　思路分析：

　　第 1 步：安装碎片

　　百度splinter安装，建议先安装anaconda（python常用库基本都有），然后安装splinter

　　第2步：使用splinter打开chrome并访问链接

　　from splinter import Browserbrowser = Browser('chrome') #打开谷歌浏览器browser.visit('http://femhzs.mofcom.gov.cn/fecpmvc/pages/fem/CorpJWList.html') #访问链接

　　打开谷歌浏览器并访问link.png

　　第三步：获取信息

　　# 通过谷歌浏览器的检查功能，可以很迅速地获取所需元素的地址。# find_by_xpath(XPath地址） 返回值是储存在列表中的# 这里是只有一个元素的列表，所以要选择列表第一个元素的值r1c1=browser.find_by_xpath('//*[@id="foreach"]/td[1]').first.value # 取得1行1列的值r1c2=browser.find_by_xpath('//*[@id="foreach"]/td[2]').first.value # 取得1行2列的值r1c3=browser.find_by_xpath('//*[@id="foreach"]/td[3]').first.value# 取得1行3列的值browser.find_by_xpath('//*[@id="pageNoLink_0"]').first.click() # 点击下一页# 打印数据，并退出浏览器print(r1c1,r1c2,r1c3)browser.quit()

　　【结论】

　　本文简单介绍如何使用python splinter库操作谷歌浏览器，然后定位需要的元素，然后获取元素的值。获取后，打印数据并退出浏览器。关于数据的存储，请参考插上翅膀，让Excel飞起来-xlwings(一）。要获取完整的上百页数据，只需在代码中加一个循环即可。有需要的我再讲下次再讲，完整代码如下：

　　from splinter import Browserbrowser = Browser('chrome')browser.visit('http://femhzs.mofcom.gov.cn/fecpmvc/pages/fem/CorpJWList.html')r1c1=browser.find_by_xpath('//*[@id="foreach"]/td[1]').first.valuer1c2=browser.find_by_xpath('//*[@id="foreach"]/td[2]').first.valuer1c3=browser.find_by_xpath('//*[@id="foreach"]/td[3]').first.valuebrowser.find_by_xpath('//*[@id="pageNoLink_0"]').first.click() # 打印数据，并退出浏览器print(r1c1,r1c2,r1c3)browser.quit()