网页抓取数据百度百科(selenium（待更新实验部分）本文介绍库和chrome浏览器)
　　概括
　　最后更新时间：2020.08.20（实验部分待更新）
　　本文类型：实际应用类（非知识讲解）
　　本文介绍selenium库和chrome浏览器自动抓取网页元素，定位填写表单数据，可以自动填写，节省大量人力。为了方便selenium库的使用，也方便操作中的错误处理，本文在一定程度上对selenium库进行了重新封装，方便读者在了解selenium库后快速上手编程。
　　一、本文知识点：1.安装selenium库，2.selenium库如何查找元素，3.selenium库的重新打包
　　二、本文结构：1.先简单介绍一下知识点，2.以完整版块的形式贴出复制后可以直接运行的调试代码，方便读者调试发布的每段代码
　　三、本文方法实现：以百度首页为控制网页，以谷歌浏览器为实验平台，使用python+selenium操作网页。ps：其他对应的爬网实验会更新。
　　四、本文实验：1.A股市场数据后台截图（2020.09.09已更新），2.后台QQ邮箱读取最新邮件（待更新），等待其他实验更新（均提供详细代码和注释，文末有对应链接）
　　温馨提示：以下为本文正文内容文章，以下案例供参考
　　文章目录
　　二、Selenium 快速入门
　　三、我的简单包装器
　　四、实验
　　一、安装selenium库及相关文件
　　Selenium 库是 python 用于爬虫网站 的自动化工具。支持的浏览器包括Chrome、Firefox、Safari等主流界面浏览器，以及Windows、Linux、IOS、Android等各种操作系统。
　　1.安装 selenium 库
　　(1)点击win10的开始菜单，直接输入cmd，右键以管理员身份运行
　　(2)如果安装python时勾选了添加路径选项，可以直接输入命令
　　点安装硒
　　（如果没有添加，建议卸载python，重新安装并检查添加路径。慎重选择这个建议，因为需要重新安装之前下载的库）
　　(3)网络连接下等待完成，如果提示超时，可以尝试以下命令切换下载源重新安装：pip install selenium -i
　　2.下载谷歌浏览器相关文件
　　本文使用的浏览器是谷歌浏览器，所以只介绍谷歌浏览器的爬虫方法，其他浏览器的方法类似。
　　(1)点击下载谷歌浏览器
　　(2)安装谷歌浏览器后，查看谷歌浏览器的版本号。点击谷歌浏览器右上角的三个点，选择-帮助-关于谷歌浏览器-查看版本号。
　　如图，本文版本号为84.0.4147.125
　　
　　(3)点击下载谷歌浏览器驱动
　　打开驱动下载页面，找到版本号对应的驱动版本。在本文中，84.0.4147.125，所以如图所示寻找84.0开头的驱动。，点击打开，下载对应系统的驱动。然后将其解压缩到您要编写项目的文件夹中。
　　不要放在python目录或浏览器安装目录下。如果这样做，当您将其移植到另一台计算机时，将会出现各种错误。根本原因是您的计算机安装了相应的库文件和驱动程序。电脑可能没有安装。
　　
　　
　　二、Selenium 快速入门1.定位元素的八种方法
　　(1) 标识
　　(2) 名称
　　(3) xpath
　　(4) 链接文本
　　(5) 部分链接文本
　　(6) 标签名
　　(7) 类名
　　(8) CSS 选择器
　　2. id 方法
　　(1) 在 selenium 中通过 id 定位元素：find_element_by_id
　　以百度的页面为例，其百度输入框部分源码如下：
　　1
2
3
4
5
6
7
10
11
　　其中，是输入框的网页代码，元素通过id查找元素的代码和注释如下：
　　1import os
2import sys
3import time
4from selenium import webdriver
5##此方法获取的工作文件夹路径在py文件下或封装exe后运行都有效##
6当前工作主路径 = os.path.dirname(os.path.realpath(sys.argv[0]))
7##配置谷歌浏览器驱动路径##
8谷歌驱动器驱动 = 当前工作主路径+"/"+"chromedriver.exe"
9##初始化selenium控件##
10浏览器驱动 = webdriver.Chrome(executable_path=谷歌驱动器驱动)
11##打开链接,更换其他网址，请注意开头要带上http://##
12浏览器驱动.get("http://www.baidu.com")
13##通过id搜索清除搜索框内容##
14浏览器驱动.find_element_by_id("kw").clear()
15##通过id搜索输入搜索框内容##
16浏览器驱动.find_element_by_id("kw").send_keys("python+selenium库 实现爬虫抓取网页数据内容并自动填表的解决方法并附已交付甲方实际稳定运行的代码")
17##通过id搜索点击百度一下进行搜索##
18浏览器驱动.find_element_by_id("su").click()
19##保持5s时间
20time.sleep(5)
21###关闭退出浏览器
22浏览器驱动.quit()
23
24
　　3. 命名方法
　　还是以百度输入框为例，在selenium中按名称定位一个元素：find_element_by_name
　　代码和注释如下：
　　1import os
2import sys
3import time
4from selenium import webdriver
5##此方法获取的工作文件夹路径在py文件下或封装exe后运行都有效##
6当前工作主路径 = os.path.dirname(os.path.realpath(sys.argv[0]))
7##配置谷歌浏览器驱动路径##
8谷歌驱动器驱动 = 当前工作主路径+"/"+"chromedriver.exe"
9##初始化selenium控件##
10浏览器驱动 = webdriver.Chrome(executable_path=谷歌驱动器驱动)
11##打开链接,更换其他网址，请注意开头要带上http://##
12浏览器驱动.get("http://www.baidu.com")
13##通过name搜索清除搜索框内容##
14浏览器驱动.find_element_by_name("wd").clear()
15##通过name搜索输入搜索框内容##
16浏览器驱动.find_element_by_name("wd").send_keys("python+selenium库 实现爬虫抓取网页数据内容并自动填表的解决方法并附已交付甲方实际稳定运行的代码")
17##通过id搜索点击百度一下进行搜索##
18浏览器驱动.find_element_by_id("su").click()
19##保持5s时间
20time.sleep(5)
21###关闭退出浏览器
22浏览器驱动.quit()
23
24
　　4. xpath 方法
　　还是以百度输入框为例，在selenium中通过xpath定位一个元素：find_element_by_xpath。但是这种方法不适用于网页中位置会发生变化的表格元素，因为xpath方法指向的是固定的行和列，无法检测到行和列内容的变化。
　　首先，在谷歌浏览器中打开百度，在空白处右击，选择勾选(N)，进入网页的开发者模式，如图。然后右击百度输入框，再次点击勾选（N），可以发现右边自动选中的部分代码框变成了百度输入框的代码。最后在右边自动选中的代码段右键-选择复制-选择复制Xpath，百度输入框的xpath是//*[@id="kw"]，百度那个的xpath是/ /*[@id="su"]
　　接下来，使用该值进行百度搜索。代码和注释如下。
　　
　　
　　1import os
2import sys
3import time
4from selenium import webdriver
5##此方法获取的工作文件夹路径在py文件下或封装exe后运行都有效##
6当前工作主路径 = os.path.dirname(os.path.realpath(sys.argv[0]))
7##配置谷歌浏览器驱动路径##
8谷歌驱动器驱动 = 当前工作主路径+"/"+"chromedriver.exe"
9##初始化selenium控件##
10浏览器驱动 = webdriver.Chrome(executable_path=谷歌驱动器驱动)
11##打开链接,更换其他网址，请注意开头要带上http://##
12浏览器驱动.get("http://www.baidu.com")
13##通过xpath搜索清除搜索框内容,注意单引号与双引号的混合使用##
14浏览器驱动.find_element_by_xpath('//*[@id="kw"]').clear()
15##通过xpath搜索输入搜索框内容,注意单引号与双引号的混合使用##
16浏览器驱动.find_element_by_xpath('//*[@id="kw"]').send_keys("python+selenium库 实现爬虫抓取网页数据内容并自动填表的解决方法并附已交付甲方实际稳定运行的代码")
17##通过xpath搜索点击百度一下进行搜索,注意单引号与双引号的混合使用##
18浏览器驱动.find_element_by_xpath('//*[@id="su"]').click()
19##保持5s时间
20time.sleep(5)
21###关闭退出浏览器
22浏览器驱动.quit()
23
24
　　5. 链接文本和部分链接文本方法 查看全部

　　网页抓取数据百度百科(2021-10-12介绍什么是爬虫？(图))
　　2021-10-12
　　
　　介绍
　　什么是爬行动物？
　　先看百度百科的定义：
　　
　　简单地说，网络爬虫也称为网络爬虫和网络蜘蛛。它的行为一般是先“爬”到相应的网页，然后“铲”下需要的信息。
　　为什么要学习爬行？
　　看到这里，有人会问：谷歌、百度等搜索引擎已经帮我们爬取了互联网上的大部分信息，为什么还要自己写爬虫呢？这是因为需求是多种多样的。例如，在企业中，爬取的数据可以作为数据挖掘的数据源。甚至还有人为了炒股而抓取股票信息。笔者见过有人爬上绿色中介的数据，为了分析房价，自学编程。
　　在大数据时代，网络爬虫作为网络、存储和机器学习的交汇点，已经成为满足个性化网络数据需求的最佳实践。你还在犹豫什么？让我们开始学习吧！
　　语言环境
　　语言：人生苦短，我用Python。让 Python 飞我们吧！
　　
　　urllib.request：这是Python自带的库，不需要单独安装。它的作用是打开url让我们获取html内容。官方 Python 文档简介： urllib.request 模块定义了有助于在复杂世界中打开 URL（主要是 HTTP）的函数和类——基本和摘要身份验证、重定向、cookie 等。
　　BeautifulSoup：是一个 Python 库，可以从 HTML 或 XML 文件中提取数据。它支持通过您最喜欢的转换器导航、查找和修改文档的惯用方式。Beautiful Soup 将为您节省数小时甚至数天的工作时间。安装比较简单：
　　$pip 安装 Beautifulsoup4
　　验证方法是进入Python，直接导入。如果没有异常，则说明安装成功！
　　
　　“美味的汤，绿色的浓汤，
　　盛在热气腾腾的盖碗里！
　　这么好的汤，谁不想尝尝？
　　晚餐的汤，美味的汤！"
　　BeautifulSoup 库的名字来源于《爱丽丝梦游仙境》中的同名诗。
　　抓取数据
　　
　　接下来，我们使用urllib.request获取html内容，然后使用BeautifulSoup提取数据，完成一个简单的爬取。
　　将此代码保存为 get_html.py 并运行它以查看它的输出：
　　
　　果然，输出了这个网页的整个HTML代码。
　　无法直接看到输出代码。我们如何才能轻松找到我们想要捕获的数据？使用 Chrome 打开 URL，然后按 F12，然后按 Ctrl+Shift+C。如果我们想抓取导航栏，我们用鼠标点击任何导航栏项，浏览器在html中找到它的位置。效果如下：
　　
　　目标html代码：
　　
　　有了这些信息，就可以用 BeautifulSoup 提取数据。更新代码：
　　
　　将此代码保存为 get_data.py 并运行它以查看它的输出：
　　
　　是的，我们得到了我们想要的数据！
　　BeautifulSoup 提供了简单的 Pythonic 函数，用于处理导航、搜索、修改解析树等。它是一个工具箱，通过解析文档为用户提供他们需要抓取的数据。由于其简单性，无需太多代码即可编写完整的应用程序。怎么样，你以为复制粘贴就可以写爬虫了？简单的爬虫确实可以！
　　一个迷你爬虫
　　我们先定一个小目标：爬取网易云音乐播放量超过500万的播放列表。
　　打开播放列表的url：3715，原来我们什么都没提取。我们打开了一个假网页吗？
　　动态网页：所谓动态网页，是指相对于静态网页的一种网页编程技术。对于静态网页，随着html代码的生成，页面的内容和显示效果基本不会改变——除非你修改了页面代码。动态网页并非如此。虽然页面代码没有改变，但是显示的内容会随着时间、环境或数据库操作的结果而改变。
　　值得强调的是，动态网页不应与页面内容是否动态相混淆。这里所说的动态网页与网页上的各种动画、滚动字幕等视觉动态效果没有直接关系。动态网页也可以是纯文本内容或收录各种动画内容。这些只是特定于网页。内容的呈现形式，无论网页是否具有动态效果，只要是通过动态网站技术生成的，都可以称为动态网页。
　　现在我们知道这是一个动态网页。当我们得到它时，播放列表还没有被请求，当然，什么都提取不出来！
　　我们以前的技术无法执行在页面上执行各种魔术的 JavaScript 代码。如果 网站 的 HTML 页面没有运行 JavaScript，它可能看起来与您在浏览器中看到的完全不同，因为浏览器可以正确执行 JavaScript。用 Python 解决这个问题只有两种方法： 采集 内容直接来自 JavaScript 代码，或者用 Python 的第三方库运行 JavaScript，直接 采集 你在浏览器中看到的页面。我们当然选择后者。今天的第一课，不深入原理，先简单粗暴地实现我们的小目标。
　　Selenium：是一个强大的网络数据采集工具，最初是为网站自动化测试而开发的。近年来，它也被广泛用于获取准确的网站快照，因为它们直接在浏览器上运行。Selenium 库是在 WebDriver 上调用的 API。WebDriver 有点像可以加载网站的浏览器，但也可以像BeautifulSoup 对象一样用于查找页面元素，与页面上的元素交互（发送文本、点击等），以及执行其他操作运行 Web Crawler 的操作。安装方式与其他 Python 第三方库相同。
　　$pip 安装硒
　　验证它：
　　
　　Selenium 没有自带浏览器，需要配合第三方浏览器使用。例如，如果您在 Firefox 上运行 Selenium，您会看到一个 Firefox 窗口打开，转到 网站，然后执行您在代码中设置的操作。虽然这样可以看的比较清楚，但是并不适合我们的爬虫程序。爬完一个页面再打开一个页面效率太低了，所以我们使用了一个叫做 PhantomJS 的工具来代替真正的浏览器。
　　PhantomJS：是一个“无头”浏览器。它将 网站 加载到内存中并在页面上执行 JavaScript，但它不会向用户显示页面的图形界面。结合 Selenium 和 PhantomJS，您可以运行一个非常强大的网络爬虫，它可以处理 cookie、JavaScript、标头以及您需要做的任何其他事情。
　　PhantomJS 不是 Python 的第三方库，不能使用 pip 安装。它是一个成熟的浏览器，所以你需要去它的官方网站下载，然后将可执行文件复制到Python安装目录的Scripts文件夹中，像这样：
　　
　　开始工作吧！
　　打开播放列表的第一页：
　　先用Chrome的“开发者工具”F12分析一下，很容易看穿一切。
　　
　　播放号nb（号播）：29915
　　Cover msk（掩码）：带有标题和网址
　　同样可以找到“下一页”的url，最后一页的url为“javascript:void(0)”。
　　最后，我们可以用 18 行代码完成我们的工作。
　　
　　将此代码保存为 get_data.py 并运行它。运行后会在程序目录下生成一个playlist.csv文件。
　　
　　看到结果后有成就感吗？如果你有兴趣，也可以按照这个思路，找到评论最多的单曲，再也不用担心歌曲用完了！
　　
　　今天的内容比较简单，这里先介绍一下。本文到此结束。希望以上内容对大家的学习有所帮助。谢谢阅读，谢谢！
　　请仔细查看上面的数据图，并在几秒钟内发送数据。下次见！
　　分类：
　　技术要点：
　　相关文章： 查看全部

　　网页抓取数据百度百科(简单网络爬虫的工作流程简单的网络爬虫原理(组图))
　　什么是网络爬虫
　　简单来说，网络爬虫就是一种自动抓取互联网资源的程序。
　　简单的网络爬虫
　　网络爬虫的简单原理就是以特定的url作为种子，通过一定的规则获取网页上需要的信息和新的url，并抓取新的url。
　　一个简单的网络爬虫的架构
　　如下图所示，是一个简单的网络爬虫的主要架构。主要分为三个部分：url解析器、网页下载器、网页解析器。
　　
　　pp1-简单爬虫架构.PNG
　　url parser：负责管理待爬取的url集合和待爬取的url集合。其中包括：防止重复抓取、防止循环抓取等。
　　网页下载器：下载抓取到的url对应的网页，供网页解析器使用。
　　网页解析器：主要作用是在下载的网页中获取目标数据后，生成一组新的url给url管理器。
　　一个简单的网络爬虫的工作流程
　　
　　简单爬虫运行过程.PNG
　　编写一个简单的网络爬虫
　　以爬取百度百科python入口页面的超链接为例，代码使用python语言。
　　网址管理器
　　url manager主要管理url集合。这里使用了python的set()集合，因为set()中不存在相同的元素。
　　网页下载器
　　这里是使用python的基础库urllib2.urlopen()方法来下载网页的url。
　　import urllib2
class HtmlDownloader(object):
def download(self,url):
if url is None:
return None
#直接请求
response = urllib2.urlopen(url)
#获取状态码，返回200代表下载成功
if response.getcode()!= 200:
return None;
return response.read()
　　网络解析器
　　这里使用 python 库 - BeautifulSoup。它的主要功能是从网页中获取数据，然后从获取的数据中找到目标数据和一个新的新的url集合到url管理器中。代码显示如下：
　　from bs4 import BeautifulSoup
import re
import urlparse
class HtmlParse(object):
#使用BeautifulSoup解析网页下载器下载的网页数据
def parse(self,page_url,html_cont):
if page_url is None or html_cont is None:
return
soup = BeautifulSoup(html_cont,'html.parser',from_encoding='utf8')
#获取新的url集合
new_urls = self._get_new_urls(page_url,soup)
#获取目标数据
new_data = self._get_new_data(page_url,soup)
return new_urls,new_data
#获取新的待爬取url
def _get_new_urls(self, page_url, soup):
new_urls = set()
#使用正则表达式从BeautifulSoup获取的数据中找到新的url
#页面的url格式/item/%E8%9C%98%E8%9B%9B/8135707
#这里的soup.find_all() 可获取全部符合条件的标签对象
links = soup.find_all('a',href =re.compile(r"/item/[%A_Z0_9]+"))
for link in links:
new_url = link['href']
#生成完整的的url：http://baike.baidu.com/item/%2 ... 35707
new_full_url = urlparse.urljoin(page_url,new_url)
new_urls.add(new_full_url)
return new_urls
#获取目标数据，这里只是获取了标签和中的内容
def _get_new_data(self, page_url, soup):
res_data = {}
#url
res_data['url'] = page_url
#Python
#这里的soup.find() 将获取第一个符合条件的标签对象
title_node = soup.find('dd',class_="lemmaWgt-lemmaTitle-title").find("h1")
res_data["title"] = title_node.getText()
#
#这里的soup.find() 将获取第一个符合条件的标签对象
summary_node = soup.find("div",class_="lemma-summary")
res_data["summary"] = summary_node.getText()
return res_data
　　数据输出
　　这里只将获取到的数据输出到html文件中，当然也可以输出到数据库、本地文件等其他地方，具体看具体需要。
　　 class HtmlOutputer(object):
def __init__(self):
self.datas = []
def collect_data(self,data):
if data is None:
return
self.datas.append(data)

def output_html(self):
fout = open('output.html','w')
fout.write("")
fout.write("")
fout.write("")

#默认是ascii，为了防止中文乱码，需要转成utf8
for data in self.datas:
fout.write("")
fout.write("%s" % data['url'])
fout.write("%s" % data['title'].encode('utf8'))
fout.write("%s" % data['summary'].encode('utf8'))
fout.write("")

fout.write("")
fout.write("")
fout.write("")
　　最后，连接所有类：
　　#不要忘记引入其他类
from baike_py import html_downloader, html_outputer, html_parser
from baike_py import url_manager
class SpiderMain(object):
def __init__(self):
self.urls =url_manager.UrlManager()
self.downloader = html_downloader.HtmlDownloader()
self.parser = html_parser.HtmlParse()
self.outputer = html_outputer.HtmlOutputer()
def craw(self, root_url):
count = 1
self.urls.add_new_url(root_url)
while self.urls.has_new_url():
try:
new_url = self.urls.get_new_url()
print ("craw %d : %s" % (count,new_url))
html_cont = self.downloader.download(new_url)
new_urls,new_data = self.parser.parse(new_url,html_cont)
self.urls.add_new_urls(new_urls)
self.outputer.collect_data(new_data)
#这里只是抓取了1000条url数据
if count == 1000:
break
count = count + 1
except :
print (“craw failed”)
self.outputer.output_html()
if __name__=="__main__":
root_url = "http://baike.baidu.com/item/Python"
obj_spider = SpiderMain()
obj_spider.craw(root_url)
　　总结 查看全部

　　网页抓取数据百度百科(搜索引擎爬虫的工作原理抓取、收录索引、排序四大环节
)
　　作为合格的 SEOER，我们与 网站 和搜索引擎保持联系。既然如此，那我们就必须对搜索引擎有一定的了解，只有这样才能有效。严格来说，搜索引擎使用诸如“爬虫（蜘蛛）”之类的计算机程序来爬取我们网页上的信息。一般来说，搜索引擎爬虫的工作原理分为爬取、过滤、收录索引和排序四大环节，我们一起来看看。
　　
　　抓
　　爬取链接是第一步，第一步是搜索引擎收录你的网页，意思是搜索引擎爬虫通过链接访问你的网站，然后进行深度和广度爬取，深度抓取是指从上到下抓取，广度抓取是指从左到右抓取，两种抓取方式同时进行。通常爬虫会爬取你网页上的文字、链接、图片等信息，或者严格来说，爬虫实际上是爬取你当前网页的代码。
　　筛选
　　过滤链接是指当前页面信息被爬虫爬取后，会将爬取的信息放入搜索引擎的临时数据库中。这个临时数据库是一个容器，用来临时存储和过滤过滤信息。爬虫会将爬取的信息放入临时数据库后，继续执行其他任务。此时会根据页面的质量对临时存储在临时数据库中的网页信息进行筛选和过滤，从而判断该页面是收录还是被过滤掉。这是一个过滤过程。
　　收录
　　这里的收录链接是指那些存储在搜索引擎的临时数据中，通过筛选链接并顺利通过考核，然后进入收录链接的页面。但是页面是收录不代表可以搜索到，还需要有比较实用的索引，才能被用户搜索到，所以这里的收录不等于索引（不信可以去百度官方看文档）。
　　很多站长认为网页需要先被搜索引擎收录收录。其实这是一种错误的理解。对于一个已经是收录的页面，我们可以通过搜索该页面的链接地址来查看结果，但是当我们搜索当前页面的全标题时，却找不到。事实上，这就是 收录 的页面。但它没有被索引。正是因为该页面没有进入搜索引擎的索引数据库，所以用户无法检索到。
　　种类
　　排序通常是最后一个环节。一旦你的网页通过了收录索引链接，此时你其实可以参与排序和检索，但通常网页的排序与很多因素有关，所以我们无法保证页面的排序位置. 但是，最直观的影响应该是网页内容的质量和网站的权重，这两者都有很大的影响，这也是为什么有些老的网站帖子发完后还能排到首页的原因一个帖子。这也是您找不到要排名的帖子的原因之一。
　　以上就是对搜索引擎爬虫工作原理的四大环节的分析。虽然描述的不是特别详细，还有很多细节没有描述，但是有些东西确实很难用语言来表达。不过，通过阅读以上内容，相信你还是可以得到很多信息的。
　　还是那句老话，看完了，不代表你已经领悟了。如果你不真正吸收和使用我，那只会浪费你几分钟。这没有多大意义！珍惜现在的时间，享受现在的工作。恐怕你会在未来的日子里。不能再体验现在的表现了！
　　以下是小编为大家整理的全行业SEO优化秘籍全集（部分截图）关注我的私信：seo可以免费领取！
　　 查看全部

　　网页抓取数据百度百科(SEO小白搭建网站收录的概念和增加收录的方法)
　　对于网站收录的概念，网上或者搜索引擎中已经有很多相关的定义。网站收录，是指网络爬虫抓取网页并将页面内容数据放入搜索引擎数据库的结果。
　　
　　一、如何添加收录？
　　1、收录入口
　　蜘蛛爬取任何页面的前提是要有入口。假设一个页面没有入口，也就是我们通常所说的孤岛页面，那么蜘蛛就无法抓取它。在我们构建网站的开始，我们必须考虑为蜘蛛留下足够的入口。具体包括：网站导航、网站地图、百度站长主动推送、外链发布、面包屑导航、站内相关推荐、上一篇和下一篇、内容页锚文本、等等。
　　2、爬取规则
　　搜索引擎在互联网上抓取网页时，有一定的抓取规则。更广泛的版本包括大站点优先、权威站点优先、高权重站点优先、新闻源站点优先、广度爬取、深度爬取等。如何使用爬取规则来增加收录的音量？
　　更简单的做法是增加需要排名的页面的更新频率和更新量，在内容更新位置、频率和数量上下功夫。
　　3、页面质量
　　页面质量可以说是提高 收录 的最重要因素。假设你的站点收录入口丰富，对搜索引擎爬取规则掌握得很好，但是页面内容质量低，那么这样的页面参与的概率会变小收录 . 页面质量涉及页面内容、url设置、相关性构建、站点权重等因素的影响。
　　
　　二、网站没有收录为什么？
　　总结起来无非就是这三点：①域名；②网站；因此，我们只能有一个明确的目的，从源头着手处理问题。
　　1、域问题
　　许多 SEO 新手构建了 网站。早期，关于SEO的知识比较匮乏。他们随机使用模板来构建网站。后来，他们又等了一周、两周、一个月都没有看到网站内容收录。其中网站，内容是用心制作的，看不懂。后来圈内人查了网站的历史，才发现这个域名原来是非法的网站，里面收录很多非法信息，而且这个域名早就被锁在一个小暗室。
　　这是由于前期准备不足造成的。虽然我们无法知道域名的所有黑历史，但最简单的方法应该是控制它。比如通过百度站点域名，查看域名历史收录的状态，然后查看。反链；
　　或者通过域名命令，通过收录和反向链接，看看域名能不能锁在小黑屋里，一个明确的域名最好，没有什么是最好的。
　　2、网站体制问题
　　域名没有问题，但是网站组织有问题。比如使用自助建站系统拖拽组成的网站，或者收录大量js的网站页面，都是搜索引擎不太喜欢的网站. . 网站后期搭建好内容页收录，难度比较大。由于用户体验差，可读性差，直接影响收录问题。另外，网站的空间打开速度和外链的质量都会影响网站的整体质量。如果网站一般不是特别渣，有优质链接，提交到蜘蛛池吸引蜘蛛，拉外链，那么收录
　　
　　3、内容问题
　　采集 站通常是攻击的重点，虽然我们仍然可以看到一些 采集 站排名不错，但需要注意的是，采集 站需要强大的技术支持，而排名是很不稳定。最好在几秒钟内获得高质量的 原创 内容。当然，如果你有相关行业的老域名，可以直接用老域名建站，及时提交和创建xml地图和robots文件，以便蜘蛛更好的抓取网站内容，那么 收录 的速度会更快。
　　这篇文章就说到这里了，希望能给大家一些思路。想要了解更多SEO专业知识，可以关注微信公众号：“爱学SEO”，阅读好文章和更多优质教学视频。 查看全部

　　网页抓取数据百度百科(搜索站长工具中的索引量是什么？怎么处理？)
　　随着搜索引擎对网站质量的评估和监督，各大平台都为站长提供了站长工具。网站管理员工具在 SEO 优化中发挥着重要作用。
　　搜索网站管理员工具中的索引量是多少？很多站长可能对索引量有一些疑问。
　　书面意义：索引是将​​文献中具有检索意义的项目（可以是人名、地名、词名、概念或其他项目）以一定的方式有序排列，并标明出处和页码用于检索。也称为“吸引”。
　　今天我们就来详细看看各大搜索引擎的索引量。
　　百度站长工具中的索引量
　　
　　站点中可用作搜索候选结果的页面数是网站的索引量。页面被搜索引擎抓取筛选后，被系统筛选，作为搜索候选结果。用于索引。当前站点语法的值是索引的估计值，不准确。
　　所以：
　　索引量实际上是 收录 的量。由于技术原因，站点域名显示的收录的结果可能在一定程度上不统一。不过不用担心，百度会在后续陆续发布被收录的网页。
　　搜狗站长工具中的索引量
　　
　　所以：
　　搜狗的指数量也是收录的量。您会看到搜狗的 收录 在您的站点域名中只有 50 个条目，而搜狗站长工具会看到 1,000 个条目。这是因为搜狗没有索引该索引。网页显示给搜索引擎。
　　根据搜狗的及时性，发布指数是一个漫长的过程。
　　这里需要说明的是，搜狗站长工具中的收录卷并不是网站真正的收录卷。关于这个问题，请参考文章：《搜狗站长工具：索引量和收录量的解释，是否相当于站点的收录？》
　　360搜索站长工具索引量（SO）
　　
　　索引量是指搜索用户可以搜索到的网站数据库。索引量不等于流量，索引量会有规律的波动，属于正常现象。
　　神马站长工具平台索引量（UC神马搜索）
　　
　　神马搜索的索引也代表收录，索引量有时与真实的收录量不一致。不过，神马站长平台在网站详细主页上给出了实际收录的成交量统计。
　　
　　今日头条站长工具（新星、今日头条搜索）
　　
　　官方解释：站点内容页面需要经过搜索引擎抓取、解析、过滤，然后在搜索结果中展示给用户。页面被系统逐层筛选，成为搜索结果数据候选的过程就是建立索引的过程，索引的个数就是建立的索引个数。
　　今日头条是近几年的新搜索，索引量也代表收录，也有些不准确。
　　我的网站实际收录是800多，但是指数才200多。
　　其他搜索引擎
　　这里不说必应搜索（微软），也没有找到必应的站长工具平台在哪里，可能根本就没有。加上 Bing 的使用毕竟是少数。不在示例范围内。
　　谷歌搜索引擎，有Xingkong ——一个站长交流和分享技术的平台，但不会列出退出中国。
　　指数成交量整体汇总
　　国内搜索引擎的索引量都代表了搜索引擎机器评估的真实收录量。虽然索引和真实的收录可能不一致，但不影响网站的整体爬取质量。
　　另外有站长朋友提到索引量是0，但是有收录为什么？
　　这其实是因为搜索引擎把你和你一起去索引了，但是并没有整体更新。一段时间后数据更新，你会发现你的收录不见了。 查看全部

　　网页抓取数据百度百科(我见到的是百度知道也有没有人回答的问题)
　　网页抓取数据百度百科可能是这个最靠谱了。
　　我今天也做这个了没有找到相关的回答只有百度百科和360百科相关页面找到一篇报道，结果发现贴吧里很多人也问到这个问题的。截图一部分，有兴趣的可以参考一下先点开大图最后贴上来的这篇报道的全文，
　　需要一篇文章-11866069.html
　　谢邀。正常情况，内容太少的，被百度屏蔽，内容太多的，被分析。
　　我发现我见到的是百度知道也有没有人回答的问题
　　想太多。
　　首先，我觉得回答这种问题的人不会去考虑，用人话怎么回答，而是怎么举出案例来解释。百度不是机器人，它更倾向于看到的内容是最靠谱的，哪怕它对你问题描述上写的五花八门。其次，你要考虑这些答案还有多少人看到？再其次，如果你觉得考虑到知乎的可能，你可以把重点放在考虑回答你这种问题的人是真的真的想解决问题，还是仅仅为了晒一下优越感。
　　还有，如果你打算得到快速的回应，可以发个微博@知乎小管家@黄继新@飞鸟冰河等，这样他们自然会推送给他们想看到的答案，因为他们的频率更高，更容易得到有用的信息。---我经常玩知乎，从来没有见过这么神奇的问题，不好好问问题，而是想要别人答案，我很费解，请问知乎有没有一些解决方法让他们来说吧。我觉得你应该是想提一个更大的问题，提一个更大的目标，或者突出你对这些问题的发问背后的重要性。或者提高你在知乎注册的账号体验。 查看全部

　　网页抓取数据百度百科(网站优化与搜索引擎排名SEO的本质区别在于，而不是为了搜索引擎)
　　百度的流量大，推广更容易引起用户的注意，具有一定的经济效益。
　　搜索引擎排名是指搜索引擎发出的用于发现网络上的新页面并抓取文件的程序，通常称为蜘蛛或机器人。搜索引擎蜘蛛从数据库中的已知网页开始，访问这些页面并像普通用户的浏览器一样抓取文件。处理完搜索词后，搜索引擎排序程序开始工作，从索引数据库中找出所有收录搜索词的网页，根据排名算法计算出哪些网页应该排在第一位，然后返回“搜索”页面，然后排序过程只需一两秒即可完成并返回用户想要的搜索结果。
　　网站优化与搜索引擎排名SEO的本质区别在于，网站优化是以网络营销为导向，以网站建设思路为指导的基础要素专业设计，是一个系统的和全球工作，以便网站更好地向用户传递在线营销信息；搜索引擎排名是基于局部的观点，在搜索引擎检索结果中实现有限的关键词，出发点是适应搜索引擎的检索，而不是向用户传递有价值的信息。
　　优化重点
　　重点不仅要考虑搜索引擎的排名规则，更重要的是为用户获取信息和服务提供便利。搜索引擎优化的更高目标是针对用户，而不是针对搜索引擎。那么搜索引擎优化应该关注什么？事实上，这很简单。它是网站内部的基本元素：网站结构；网站 内容；网站 函数和 网站 服务，尤其是带有 网站 结构和 网站 内容优化更重要。网站的优化就是站在客户的角度做好用户体验，用户体验的优化就会到位。
　　发动机特点
　　1、一种基于词组合的信息处理方法。巧妙地解决了中文信息的理解问题，大大提高了搜索的准确率和召回率。
　　2、支持主流中文编码标准。包括gbk（汉字内码扩展规范）、gb2312（简体）、big5（繁体），并且可以在不同编码之间进行转换。
　　3、智能关联算法。它采用基于内容和基于链接的分析相结合的方法进行相关性评估，可以客观地分析网页中收录的信息，从而最大程度地保证检索结果的相关性。
　　4、检索结果可以指示丰富的网页属性（如标题、URL、时间、大小、代码、摘要等），并识别用户的查询字符串，方便用户判断是否阅读原文。
　　5、百度搜索支持二次搜索（也称为渐进式搜索或推送搜索）。您可以在最后的搜索结果中继续搜索，并逐渐缩小搜索范围，直到找到更小更准确的结果集。有利于用户更方便地在海量信息中找到自己真正感兴趣的内容。
　　6、相关搜索词智能推荐技术。用户第一次搜索后，会提示相关搜索词，帮助用户找到更多相关结果。统计显示，搜索量可以提高10-20%。
　　7、采用多线程技术，高效的搜索算法，稳定的unix平台，本地化服务器，保证高响应速度。百度搜索引擎在中国提供搜索服务，可以大大缩短检索的响应时间（一次检索的平均响应时间小于0.5秒）。
　　8、我们可以提供1周、2周、4周等服务。它可以在7天内完成网页的更新。它是一个更新时间比较短、数据量大的中文搜索引擎。
　　9、搜索结果输出支持内容聚类、网站聚类、内容聚类+网站聚类等方式。支持用户选择时间范围，提高用户检​​索效率。
　　10、智能和可扩展的搜索技术保证了更多的互联网信息采集。拥有全球最大的中文信息数据库，为用户提供更准确、更广泛、更及时的信息奠定了坚实的基础。
　　11、分布式结构，精心设计的优化算法，容错设计，保证了系统在大访问量下的高可用性、高扩展性、高性能和高稳定性。
　　12、高可配置性使搜索服务能够满足不同用户的需求。
　　13、先进的网页动态摘要显示技术。
　　14、*附百度照片。
　　15、支持多种高级检索语法，让用户查询更高效，结果更准确。“+”（与）、“-”（非）、“|” (or), "site:", "link:" 已经支持，其他高效的搜索语法将继续添加。
　　有两种推广方式
　　一是免费推广，也就是我们经常熟悉的SEO推广；
　　另一种推广方式是百度推广，它是搜索引擎平台百度为企业客户提供的一种按效果付费的网络推广方式，让企业以少量的投入获得大量的潜在客户，有效地增加他们的销售额和销售额。品牌度。
　　SEO优化需要做，但是百度竞价推广也需要做，因为SEO优化需要一个漫长的过程，至少需要几个月，而百度竞价推广也可以在这几个月内进行。
　　百度推广可以帮助企业有效覆盖潜在客户。只要客户搜索您公司的关键词，就会出现您的网站。
　　百度90%的流量来自百度的图片流量。目前，百度竞价广告位排名靠前的数据只有5条，更何况关键词还没有放出竞价排名。这里有截图
　　企业为什么要做SEO，它的重要性是什么？根据以往企业网站SEO的经验，SEO对企业网站主要有以下作用：
　　改善内容呈现
　　对于一个基于SEO的网站来说，很容易面对搜索引擎：被百度蜘蛛爬取、爬取、索引、排名。相应的具体内容增加了在搜索结果中的展示量。如果你有幸进入TOP1-5，那么你可能会获得更多的点击率。
　　营销成本低
　　过去，SEO是免费的，你不需要花钱。在这里我可以清楚的告诉你SEO营销，这也是需要成本的。但这个成本是一个相对价值。与DSP、PPC、社交媒体、软文营销等推广营销方式相比，所需的ROI还是相当可观的。它不需要大量的金钱来燃烧，甚至一次点击高达几十美元。
　　产品转化率高
　　因为搜索引擎的搜索结果有很强的目的性，通常是针对商家网站，只要是基于搜索结果的流量，就是精准流量。
　　提到关键词 PPC的推广，这个就很明显了。只要单词排名正确，产品转换就不会有问题。这也是为什么SEM依然经久不衰的原因，但是相比SEM，SEO还是非常划算的，所以有时候需要有效衡量seo sem的选择。
　　仍在搜索中
　　简单理解，虽然搜索引擎面临来自新媒体平台的严峻挑战，但从现实的角度来看，它仍然存在，并且正在稳健运行。尤其是随着视频的发展，搜索引擎也开始做出新的改变，比如：用AI理解视频内容，给某些视频一个相关的搜索排名。短期内，搜索引擎仍将存在很长一段时间。
　　搜索引擎优化简称SEO，是指在网站或网站内部根据用户友好性和搜索引擎算法，利用优化方法使网站出现在搜索中引擎。关键词提高排名以获得有针对性的搜索流量，从而建立直销或建立在线品牌。
　　搜索引擎排名基本上分为四个步骤：
　　爬行和爬行
　　蜘蛛
　　蜘蛛
　　搜索引擎会发出一个程序，通常称为蜘蛛，它会发现网络上的新页面并抓取文件。搜索引擎从一个已知的数据库开始，像普通用户的浏览器一样访问这些网页并抓取文件。搜索引擎跟随网页中的链接并访问更多网页，这个过程称为爬取。这些新的 URL 将存储在数据库中以供抓取。因此，跟踪网页链接是搜索引擎蜘蛛发现新网址的一种比较基本的方法，因此反向链接已经成为搜索引擎优化中比较基本的因素之一。没有反向链接，搜索引擎甚至找不到页面，更不用说对其进行排名了。
　　搜索引擎抓取的页面文件与用户浏览器获取的页面文件完全相同，抓取的文件存储在数据库中。
　　指数
　　蜘蛛爬取的页面文件被分解、分析，以巨表的形式存储在数据库中。这个过程称为索引。在索引数据库中，相应地记录了网页的文本内容，以及关键词的位置、字体、颜色、粗体、斜体等相关信息。
　　搜索词处理
　　搜索引擎优化
　　搜索引擎优化
　　用户在搜索引擎界面输入关键词，点击“搜索”按钮后，搜索引擎程序会对搜索词进行处理，如中文专用分词，去除停用词，判断是否为需要启动综合搜索。有拼写错误或拼写错误等。搜索词的处理必须非常快。
　　-/gbacdfb/- 查看全部

　　网页抓取数据百度百科(,安装Python3.6;2.安装以下库:​主要思路)
　　重要说明1：本文所列程序均基于Python3.6，低于Python3.6的Python版本可能无法使用。
　　重要说明2：由于捕捉到的网站可能随时改变显示内容，程序也需要及时跟进。
　　重要提示3：本程序仅供学习使用，不能用于做坏事。
　　开始
　　1.安装 Python 3.6;
　　2.安装以下库：
　　
　　主要思想
　　对于整个过程，请按照以下步骤操作：
　　1.获取要爬取页面的URL地址（可以是分页地址，也可以在程序中模拟分页）；
　　2.通过requests将上述URL地址的内容下载到内存中（封装了urllib3的网络库，简化了很多网络请求）（之前的方式是保存临时文件）；
　　3.第二步使用BeautifulSoup（解析HTML的库）读取内存中存储的内容，解析出我们想要的主要内容；
　　4.保存到数据库或显示（特别说明：本示例程序不收录数据库部分），程序最终会输出多条json数据（已收录源码网站（自定义）、创建时间等）
　　以上部分体现在代码中，如下：
　　首先在Main.py中，定义：
　　
　　用来格式化妹子得到的数据，下面也定义了一个Qsyk来处理来自尴尬的东西百科的数据：
　　
　　代码中还有一个爬取的过程，这里就不一一列举了。它们之间唯一的区别是：调用common.formatContent时，传递的第二个参数不同，第二个参数是要爬取的类的内容（HTML）。
　　CommonGrab 依赖于 UserUtils.py 中的代码。
　　以下是CommonGrab的定义，在CommonGrab中主要做了两件事：
　　抓取网页内容并保存到内存中；解析 HTML 内容（使用 BeautifulSoup）并将数据添加到数据库中。 （不要将数据库添加到数据库中。）
　　代码如下：
　　
　　然后将以上部分组合起来。
　　运行
　　运行部分代码如下，主要调用以上部分的代码：
　　
　　源码下载
　　CSDN：
　　：
　　文件：
　　main.py：运行
　　UserUtils.py:工具 查看全部

　　网页抓取数据百度百科(网络爬虫（又被称为网页蜘蛛，网络机器人）(图))
　　网络爬虫（也称为网络蜘蛛或网络机器人）是一种程序或脚本，它根据一定的规则自动爬取万维网上的信息。其他不太常用的名称是 ant、auto-index、emulator 或 worm。
　　由于经常看尴尬的东西，突然想写一个抓取尴尬内容的爬虫。它可以用多种语言编写。我将在这里用 Python 编写它。以下为正式开始：
　　1.知己知彼，百战百胜
　　我们首先分析它的网页源代码，找到内容和图片的部分代码，比如Chrome、Firefox以及更高版本的IE浏览器，通过选择元素并使用正确的方式，可以快速帮助我们找到我们需要的代码-点击菜单：
　　2.准备战斗
　　接下来我们开始获取数据，我先试探性的使用 urllib.urlopen('
　　3.万事俱备，只欠东风
　　有了之前的准备，我可以随心所欲地获取数据，随心所欲地玩。现在我只需要内容和图像部分的数据。拦截的方法有很多，比如find函数和正则表达式。为了显得高大上，我选择了正则表达式进行拦截：
　　1reg = r'\s+(.+)\s+|src="(http://pic\.qiushibaike\.com/system/pictures.+?.jpg)"'
2
　　4.胜利
　　我得到了具体的数据，最后我写了一个网页来显示数据。
　　这是完整的源代码：
　　1import urllib2
2import re
3import sys
4
5def getHtml(url):
6 '获取页面内容'
7 request = urllib2.Request(url)
8 request.add_header('User-Agent', 'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.0.1916.153 Safari/537.36')
9 return urllib2.urlopen(request).read()
10
11def getArticle(html):
12 '获取内容和图片数据'
13 reg = r'\s+(.+)\s+|src="(http://pic\.qiushibaike\.com/system/pictures.+?.jpg)"'
14 pattern = re.compile(reg)
15 article_list = re.findall(pattern, html)
16 return [(article.decode('utf-8'), img) for (article, img) in article_list]
17
18def generateHtml(pageSize):
19 '在本地生成html页面'
20 for pageNum in range(1, pageSize + 1):
21 url = 'http://www.qiushibaike.com/8hr/page/' + str(pageNum)
22 article_list = getArticle(getHtml(url))
23 html = '\n\n\t\n\t\t\n\t\t糗百第' + str(pageNum) + '页\n\t\n\t\n'
24 for (article, img) in article_list:
25 if article:
26 html += &#x27;\t\t<p>&#x27; + article + &#x27;\n&#x27;
27 if img:
28 html += &#x27;\t\t
　　&#x27;/spanspan /spanspan class=\n&#x27;
29 html += &#x27;\n\t\n&#x27;
30 file = open(u&#x27;糗百第&#x27; + str(pageNum) + u&#x27;页.html&#x27;, &#x27;w&#x27;)
31 file.write(html)
32 file.close()
33
34#解决编码问题
35stdout = sys.stdout
36stdin = sys.stdin
37stderr = sys.stderr
38reload(sys)
39sys.stdout = stdout
40sys.stdin = stdin
41sys.stderr = stderr
42sys.setdefaultencoding(&#x27;utf-8&#x27;)
43#开始
44pageSize = raw_input(u&#x27;请输入获取前几页：&#x27;.encode(&#x27;gbk&#x27;))
45try:
46 generateHtml(int(pageSize))
47 print u&#x27;获取成功！&#x27;
48except:
49 print u&#x27;输入有误！&#x27;
50raw_input(u&#x27;\n按回车退出&#x27;.encode(&#x27;gbk&#x27;))
51
</p>
　　生成网页截图： 查看全部

　　网页抓取数据百度百科(企业建站结构优化之百度蜘蛛的运行原理（一）)
　　百度蜘蛛是百度搜索引擎的自动程序。它的功能是访问和采集互联网上的网页、图片、视频等内容，然后按类别建立索引库，让用户可以搜索到你的网站网页、图片、视频等内容在百度搜索引擎中。
　　
　　一、百度蜘蛛的运行原理。
　　（1）通过百度蜘蛛下载的网页放在补充数据区，经过各种程序计算后放到检索区，形成一个稳定的排名，所以只要下载的东西可以通过指令发现，补充数据不稳定，在各种计算过程中可能会掉线。检索区的数据排名比较稳定。百度目前是缓存机制和补充数据的结合，正在向补充数据转变。这是也是目前百度收录难的原因，也是很多网站今天给k，明天发布的原因。
　　（2）深度优先和权重优先，当百度蜘蛛从起始站点（即种子站点指一些门户站点）爬取页面时，广度优先爬取就是爬取更多的URL，深度优先爬取抓取的目的是抓取高质量的网页，这个策略是通过调度来计算和分配的，百度蜘蛛只负责抓取，权重优先是指优先抓取反向连接较多的页面，也是调度的。一个策略。一般来说，40%的网页抓取是正常范围，60%是好的，100%是不可能的。当然，越爬越好。
　　上一篇：企业网站结构优化可以满足搜索引擎的需求 查看全部

　　网页抓取数据百度百科(使用Python语言，编写简单的爬虫程序-html解析器
)
　　使用Python语言，编写一个简单的爬虫程序，爬取百度百科页面上与词条“Python”相关的1000个页面（页数可以自己任意设置）。
　　这个简单的爬虫项目可以分为5个模块：
　　首先需要有一个程序入口spider_main，它也作为爬虫的通用控制程序（调度器），
　　程序需要初始化：
　　self.urls = url_manager.UrlManger()
　　self.downloader = html_downloader.HtmlDownloader()
　　self.parser = html_parser.HtmlParser()
　　self.outputer = html_outputer.HtmlOutputer()
　　可见这里需要一个url管理器、html下载器、html解析器、html分析结果输出器。其中，程序语句
　　1 self.urls = url_manager.UrlManger()
2
　　例如，url_manager 为模块名（module），UrlManger 为模块中的类。
　　Beautiful Soup 提供了简单的类似 python 的函数来处理导航、搜索、修改解析树等。它是一个工具箱，通过解析文档为用户提供他们需要抓取的数据。由于其简单性，编写完整的应用程序不需要太多代码。Beautiful Soup 自动将输入文档转换为 Unicode 编码，将输出文档自动转换为 utf-8 编码。不需要考虑编码方式，除非文档没有指定编码方式，否则Beautiful Soup无法自动识别编码方式。然后，您只需要指定原创编码。Beautiful Soup 已经成为与 lxml 和 html6lib 一样优秀的 python 解释器，为用户提供不同解析策略的灵活性或强大的速度。
　　出于演示目的，对 1000 页的内容进行了抓取和初步分析。如果学生有兴趣，可以在任意页面进行内容爬取分析。该程序具有通用性，只需简单的修改，任何网页的内容都可以自由抓取。
　　下面，我们展示五个模块的对应代码：
　　1#coding:utf-8
2from baike_spider import html_downloader, url_manager, html_parser,\
3 html_outputer
4
5
6class SpiderMain(object):
7 def __init__(self):
8 self.urls = url_manager.UrlManger()
9 self.downloader = html_downloader.HtmlDownloader()
10 self.parser = html_parser.HtmlParser()
11 self.outputer = html_outputer.HtmlOutputer()
12
13
14
15 def craw(self, root_url):
16
17 count = 1
18 self.urls.add_new_url(root_url)
19 while self.urls.has_new_url():
20 try:
21 new_url= self.urls.get_new_url()
22 print &#x27;craw %d : %s&#x27; %(count, new_url)
23 html_cont = self.downloader.download(new_url)
24 new_urls, new_data = self.parser.parse(new_url, html_cont)
25 self.urls.add_new_urls(new_urls)
26 self.outputer.collect_data(new_data)
27
28 if count == 10:
29 break
30
31 count = count + 1;
32
33 except:
34 print &#x27;craw failed&#x27;
35
36 self.outputer.output_html()
37
38
39if __name__ == "__main__":
40 root_url = "http://baike.baidu.com/view/21087.htm"
41 obj_spider = SpiderMain()
42 obj_spider.craw(root_url)
43
44
　　1#coding:utf-8
2class UrlManger(object):
3
4 def __init__(self):
5 self.new_urls = set()
6 self.old_urls = set()
7
8 def add_new_url(self, url):
9 if url is None:
10 return
11 if url not in self.new_urls and url not in self.old_urls:
12 self.new_urls.add(url)
13
14
15 def add_new_urls(self, urls):
16 if urls is None or len(urls) == 0 :
17 return
18 for url in urls :
19 self.add_new_url(url)
20
21
22 def has_new_url(self):
23 return len(self.new_urls) != 0
24
25
26 def get_new_url(self):
27 new_url = self.new_urls.pop()
28 self.old_urls.add(new_url)
29 return new_url
30
31
32
　　1#coding:utf-8
2import urllib2
3class HtmlDownloader(object):
4
5
6 def download(self, url):
7 if url is None:
8 return None
9
10 response = urllib2.urlopen(url)
11
12 if response.getcode() != 200:
13 return None
14
15 return response.read()
16
17
　　1#coding:utf-8
2from bs4 import BeautifulSoup
3import re
4import urlparse
5
6class HtmlParser(object):
7
8
9 def _get_new_urls(self, page_url, soup):
10 new_urls = set()
11 links = soup.find_all(&#x27;a&#x27;, href=re.compile(r"/view/\d+\.htm"))
12 for link in links :
13 new_url = link[&#x27;href&#x27;]
14 new_full_url = urlparse.urljoin(page_url, new_url)
15 new_urls.add(new_full_url)
16 return new_urls
17
18
19
20 def _get_new_data(self, page_url, soup):
21 res_data = {}
22 res_data[&#x27;url&#x27;] = page_url
23# Python
24 title_node = soup.find(&#x27;dd&#x27;, class_="lemmaWgt-lemmaTitle-title").find("h1")
25 res_data[&#x27;title&#x27;] = title_node.get_text()
26#
27 summary_node = soup.find(&#x27;div&#x27;, class_="lemma-summary")
28 res_data[&#x27;summary&#x27;] = summary_node.get_text()
29
30 return res_data
31
32 def parse(self, page_url, html_cont):
33 if page_url is None or html_cont is None :
34 return
35
36 soup = BeautifulSoup(html_cont, &#x27;html.parser&#x27;, from_encoding=&#x27;utf-8&#x27;)
37 new_urls = self._get_new_urls(page_url, soup)
38 new_data = self._get_new_data(page_url, soup)
39 return new_urls, new_data
40
　　1#coding:utf-8
2class HtmlOutputer(object):
3
4 def __init__(self):
5 self.datas = []
6
7 def collect_data(self, data):
8 if data is None :
9 return
10 self.datas.append(data)
11
12 def output_html(self):
13 fout = open(&#x27;output.html&#x27;, &#x27;w&#x27;)
14 fout.write("")
15 fout.write("")
16 fout.write("")
17
18 count = 1
19 for data in self.datas :
20
21 fout.write("")
22 fout.write("%d" % count)
23 fout.write("%s" % data[&#x27;url&#x27;])
24 fout.write("%s" % data[&#x27;title&#x27;].encode(&#x27;utf-8&#x27;))
25 fout.write("%s" % data[&#x27;summary&#x27;].encode(&#x27;utf-8&#x27;))
26 fout.write("/")
27 count = count + 1
28
29 fout.write("")
30 fout.write("")
31 fout.write("")
32 fout.close()
33 查看全部

　　网页抓取数据百度百科(自动识别的GitHub百科数据整体较为规范，自动将与标题相对应的内容存放)
　　代码已同步到 GitHub。以后会把之前的代码一一整理出来，分享到GitHub上。欢迎收看。
　　qingmm 的 GitHub
　　百科词条数据整体上还是比较规范的，至少在网络上看起来是这样的。但是在实际爬取的过程中，可以发现文本的内容，无论是标题还是内容，都是在同一级别下的，不可能直接获取到某个级别标题下的所有对应内容。因此，需要巧妙地设计代码，自动识别多级标题，并自动将标题对应的内容存储在标题下。
　　目前，网上抓取百度百科词条数据的代码大多来自同一个视频教程。虽然功能划分，编写了五个代码文件，但仍然不能满足实际需要，教学效果大于实际效果。因此，我专门研究了百科词条的html页面的代码规则，最终通过一定的规则实现了对页面内容的自动、正则化的获取。
　　输入为条目名称，输出为json文件，数据以字典dict格式存储。
　　这是代码：
　　#-*-coding:utf-8-*-
import re
import requests
import bs4
from bs4 import BeautifulSoup
import json
import codecs
import sys
import os
path = sys.path[0] + os.sep
headers = {
"Accept":"text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8",
"Accept-Encoding":"gzip, deflate, br",
"Accept-Language":"zh-CN,zh;q=0.9,en;q=0.8,zh-HK;q=0.7,en-US;q=0.6",
"Connection":"keep-alive",
"Cookie":"BAIDUID=12D740BD92DEA90B607F5B827987F30E:FG=1; BIDUPSID=12D740BD92DEA90B607F5B827987F30E; PSTM=1534166632; BKWPF=3; BDUSS=lleW52cG9MalVYcUhKeWJSYllpMlgzQXpnN2lORml-UXh3b1BqRGpqSnBtcVJiQVFBQUFBJCQAAAAAAAAAAAEAAAARJts6wu3D98flt-cAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAGkNfVtpDX1bT1; PSINO=1; H_PS_PSSID=1447_21105_20882_26350_26924_20927; BDORZ=B490B5EBF6F3CD402E515D22BCDA1598; pgv_pvi=419963904; pgv_si=s2644193280; Hm_lvt_55b574651fcae74b0a9f1cf9c8d7c93a=1534920932,1535362634,1535362645,1535362662; Hm_lpvt_55b574651fcae74b0a9f1cf9c8d7c93a=1535362662",
"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36",
"Host": 'baike.baidu.com',
"Upgrade-Insecure-Requests":"1"
}
def craw(url, item):
html = requests.get(url, headers=headers).content
data = dict()
data['url'] = url
data['name'] = item
soup = BeautifulSoup(html, 'lxml')
title = soup.find('h2').get_text()
data['abstract'] = soup.find('div', class_='lemma-summary').get_text().strip().replace('\n', '').replace('\t', '')
basic_info = soup.find('div', class_='basic-info')
dts = basic_info.find_all('dt', class_='name')
dds = basic_info.find_all('dd', class_='value')
data['basic_info'] = dict()
for i in range(len(dts)):
name = dts[i].get_text().strip().replace('\n', '').replace('\t', '')
value = dds[i].get_text().strip().replace('\n', '').replace('\t', '')
data['basic_info'][name] = value
paras = soup.find_all('div', class_=['para-title', 'para'])
content = dict()
# move cursor to div: para-title level-2
for i in range(len(paras)):
if 'level-2' in paras[i]['class']:
paras = paras[i:]
break
level3_flag = False
# traversal content, caution: there is level-3 para, so the code will be more complicate
for para in paras:
if 'level-2' in para['class']:
prefix = para.span.get_text().strip().replace('\n', '')
name = para.h2.get_text().strip().replace('\n', '').replace(prefix, '')
print 'name', name
content[name] = ''
level3_flag = False
elif 'level-3' in para['class']:
if not level3_flag:
content[name] = dict()
prefix = para.span.get_text().strip().replace('\n', '')
children = para.h3.get_text().strip().replace('\n', '').replace(prefix, '')
print 'children', children
content[name][children] = ''
level3_flag = True
else:
text = para.get_text().strip().replace('\n', '').replace('\t', '')
if level3_flag:
content[name][children] += text
else:
content[name] += text
data['content'] = content
f = codecs.open(path + 'baike.json', 'w', 'utf-8')
json.dump(data, f, ensure_ascii=False)
f.write('\n')
f.close()
if __name__ == '__main__':
baseurl = 'http://baike.baidu.com/item/'
# items = ['Python', u'北京市', u'朝阳区']
items = [u'北京市']
for item in items:
url = baseurl + item
print url
craw(url, item)
　　以上，欢迎交流。 查看全部

　　网页抓取数据百度百科(【】IfirsttologIMDb.我是一个初学者
)
　　我是一名初学者，正在尝试通过网络抓取 IMDb 并获取我自己的评分数据，所以我首先需要登录 IMDb。数据，所以我首先需要登录 IMDb。
　　但我似乎无法使用下面的代码登录，任何人都可以看到问题吗？我怀疑登录代码不起作用，因为当我尝试打印我对电影的评分时（例如 7)，它给了我 0（这不是可能的评分）。我怀疑登录代码没有工作，因为当我尝试打印我的电影评级时（例如 7） 它给了我 0（这不是可能的评级）。
　　import requests
from requests import get
from bs4 import BeautifulSoup
EMAIL = ''
PASSWORD = ''
session = requests.Session()
payload = {'appActionToken':'izXDj2BVRfSIj2Bkj2Bgpqij2BMI58AYu1cj3D', 'appAction':'SIGNIN', 'email':EMAIL, 'password':PASSWORD}
login = session.post('https://www.imdb.com/ap/signin', data=payload)
url = ''
response = session.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
# print(soup) 查看全部

　　网页抓取数据百度百科(
如何获取到用户的信息前往用户主页，以轮子哥为例从中)
　　
　　点我去Github查看源码别忘了star
　　本项目的github地址：
　　一.如何获取用户信息
　　进入用户主页，以Brother Wheel为例
　　
　　从中可以看到用户的详细信息、教育经历主页、专业。行业、公司、关注量、回复数、居住地等。打开开发者工具栏查看网络，可以找到，通常html或json的数据在Html页面中。
　　网址是，excited-vczh是轮哥的id，只要拿到某个人的id就可以得到详细信息。
　　二.信息隐藏在哪里？
　　
　　通过解析这个json数据，可以找到用户信息
　　
　　根据URL下载Html页面，解析json获取用户信息
　　三.如何获取更多用户ID
　　
　　每个人都有自己的关注列表，关注的人和被关注的人，抓住这些人，然后去这些人的主页抓取关注列表，这样你就找不到用户了。
　　
　　还有nexturl，这个链接可以保存。如果isend为真，则列表翻到最后，不需要保存url
　　二.爬虫工作流程
　　有两个爬虫模块。一个爬虫负责从 nexturl 队列中获取 url，下载 json 并解析它。将获取的 nexturl 插入到哈希表中。如果插入成功，则将其添加到队列中。
　　另一个负责从urltoken队列中获取urltoken，下载解析页面，将用户信息存入数据库，将nexturl存入nexturl队列
　　
　　三.常见问题解决思路
　　重复爬取问题
　　解析出来的Urltoken肯定有很多重复。我很高兴获得了很多数据，但发现它们都是重复的，这是不可接受的。解决方法是将已经加入队列的urltoken放入哈希表中进行标记
　　从断点爬升
　　爬取数百万用户是一个相对较大的工作量。不能保证一次爬取完成。中间数据仍然需要持久化。此处选择 Redis 数据库。对于爬取任务，加入队列。如果程序中途停止，重新启动它只需要再次获取队列中的任务并继续爬升
　　反爬虫问题
　　爬取过于频繁，服务器返回 429. 这时候需要切换代理IP。我自己搭建了代理IP池()，购买了服务商提供的代理服务。
　　例如，阿布云：
　　多台机器一起爬行
　　任务比较大。在实验室电脑的帮助下，一共有10台电脑，5台电脑安装了Redis，3台作为哈希表，2台作为队列，具有很好的扩展性。 查看全部

　　网页抓取数据百度百科(Python爬虫开发网络爬虫的工作流程及工作原理及流程)
　　爬虫一般是指对网络资源的爬取。由于 Python 的脚本特性，很容易配置和处理字符，非常灵活。Python有丰富的网络爬虫模块，所以两者经常联系在一起，Python被称为爬虫。爬虫可以爬取 网站 或应用程序的内容以提取有用的有价值信息。还可以模拟用户在浏览器或APP应用上的操作行为，实现程序自动化。那么，为什么 Python 被称为爬虫呢？本文由千峰武汉Python培训小编带你了解。
　　
　　为什么 Python 被称为爬虫？
　　作为一门编程语言，Python 是纯自由软件，以其简洁明了的语法和强制使用空格进行语句缩进，深受程序员的喜爱。使用不同的编程语言完成一个任务：C语言一共需要写1000行代码；Java需要写100行代码；Python 只需要写 20 行代码。如果使用 Python 完成编程任务，编写的代码量更少，代码更简洁、更短、更易读。一个团队在开发的时候，写代码的效率会更快，高的开发效率会让工作更有效率。
　　Python 非常适合作为开发网络爬虫的编程语言。与其他静态编程语言相比，Python 爬取网页文档的界面更简单；与其他动态脚本语言相比，Python 的 urllib2 包提供了更完整的访问 Web 文档的 API。Python中有优秀的第三方包可以高效的实现网页爬取，可以用很短的代码完成网页的标签过滤功能。
　　Python爬虫的结构包括：
　　
　　爬虫框架
　　1、URL管理器：管理待爬取的url集合和已爬取的url集合，并将待爬取的url发送给网页下载器；
　　2、网页下载器：抓取url对应的网页，存储为字符串，发送给网页解析器；
　　3、网页解析器：解析出有价值的数据，存储起来，补充url给URL管理器。
　　Python 工作流程是：
　　
　　Python爬虫使用URL管理器来判断是否有要爬取的URL。如果有需要爬取的URL，则通过调度器传递给下载器，下载URL内容，通过调度器传输给解析器。通过调度程序将 URL 列表传递给应用程序并输出值信息的过程。
　　
　　Python 是一种非常适合开发网络爬虫的编程语言。它提供了urllib、re、json、pyquery等模块，以及Scrapy框架、PySpider爬虫系统等多种成型框架。代码非常简洁方便，是初学者学习网络爬虫的首选编程语言。爬虫是指对网络资源的爬取。由于 Python 的脚本特性，Python 易于配置，对字符的处理也非常灵活。另外，Python有丰富的网络爬取模块，所以两者经常联系在一起，Python语言更适合新手学习。
　　如果你想学习Python技巧，千峰是你最好的选择！千峰武汉Python培训为就业型课程，涵盖Python基础、Linux运维、Web全栈、数据分析、人工智能等企业常用技术点，深入讲解Flask三大框架，龙卷风和姜戈。结合市场趋势，定期优化课程，采用全程面授、项目驱动的教学模式。学生可以快速从入门到进阶，快速积累相关项目经验，造就真正意义上的理论与实践并举，即用型的精英人才。！ 查看全部

　　网页抓取数据百度百科(项目中需要抓取维基百科,百度百科的词条(图))
　　最近由于项目中需要爬取维基百科、百度百科、谷歌新闻的数据，做了一些研究。 Wikipedia在开放性方面做得很好，使用了强大的API来支持查询，但是中文API似乎是基于繁体中文的，中文的Wiki信息太少，有些关键词没有对应词条于是目标转向百度百科。百度百科词条很多，一般的关键词基本都有对应的词条。但是百度百科的入口对应的html页面的连接是这样的 /view/0000.html 。 0000 对应于某个条目。如果要根据URL获取，首先需要将关键词转换成对应的数字。通过httpwatch查看，发现url keyWord &pic=1&sug=1&enc=gbk返回的信息中收录关键词对应0000.html格式的数据。 关键词需要gb2312编码。提取信息，拼接url，即可成功获取百度百科的html页面。然后处理html页面，输出到自己的页面。由于html页面结构复杂，服务器上的处理效率较低。所以我觉得最好把html代码全部输出到自己的页面，用JQuery处理页面，用IE或者chrome的开发者工具，看看结构，然后用JQuery提取，隐藏，这个是方便多了。 Google New 的思路与百度百科的思路相同。使用webrequest模拟搜索请求，获取html代码，输出到自己的页面，用JQuery处理即可。 查看全部

　　网页抓取数据百度百科(网络爬虫（又称为网页蜘蛛）爬虫协议的道德标准
)
　　爬行动物科学
　　一个定义
　　近年来，爬虫这个词广为流传，还有一个新兴的职位——爬虫工程师。那么什么是爬行动物？
　　下面是百度百科的解释：
　　网络爬虫（也称为网络蜘蛛、网络机器人，在 FOAF 社区中更常称为网络追逐者）是根据一定规则自动从万维网上爬取信息的程序或脚本。其他不太常用的名称是 ant、autoindex、emulator 或 worm。
　　大概还是不明白。
　　
　　其实通俗的说，就是在网络上根据自己的需要，通过相应的技术手段来获取我们需要的数据信息。这个过程称为爬行。
　　该网站是API。. .
　　我们说网络上的每一个网站都被看作是一个API，也就是一个接口，通过它我们可以获取信息和数据。一个网站叫做 URL，这个 URL 就是我们爬取的 API。
　　爬虫无非就是以下几个流程：
　　1、了解网页
　　2、获取网页内容
　　3、解析网页并选择需要的内容
　　4、保存你想要的
　　两个机器人协议
　　在爬取之前，你需要知道一些事情：
　　1、服务器上的数据是专有的。
　　2、网络爬虫数据牟利存在法律风险。
　　3、爬虫可能会丢失个人数据。
　　许多公司还对爬虫进行了一些预防设置。一般会判断你的访问来源，并尝试判断你是被人网站访问还是被机器访问，从而做出必要的限制。
　　robots协议，也称为robots.txt，是大家都认同的爬虫协议。说白了，就是爬虫的道德标准。很多公司会在它的一些网站上设置robots协议，这个协议会告诉你哪些内容网站允许你爬取，哪些内容不允许爬取。该协议是 网站 根目录中的 robots.txt 文件。京东的机器人协议如下。
　　
　　首先，我将向大家解释这些的目的。也希望大家都能做一个合法的爬虫，遵守网络道德，做社会主义的接班人。不过普通的小爬虫是允许的，大家可以大胆尝试。
　　
　　三爬虫框架
　　目前爬虫已经有比较成熟的框架和比较成熟的第三方库供大家使用。
　　
　　上面给出了两个更成熟的爬虫库。下面我们简单介绍一下Requests的使用。
　　首先，您需要安装此库。库的安装方法很简单。在 Windows 系统上，以管理员身份运行 cmd 并执行 pip install 请求。
　　
　　安装好之后就可以测试了。
　　
　　爬虫的框架如下：
　　import requests  # 导入requests库<br />def Get_Url_text(URL):  # 定义获取相应链接文本的函数    try：# 这里是异常处理机制        r = requests.get(url, timeout=30)        # 访问这个链接，并返回一个名为r的对象        r.raise_for_status()        # 返回访问的状态，若为200，即为访问成功        r.encoding = r.apparent_encoding        # 将网页的编码和头文件的编码改为一致    except:        return "产生异常"<br />if __name__ = "main":    url = "https://www.Baidu.com"    print(Get_Url_text(url))
　　
　　四个Requests库的一些常用方法
　　requests库的七种常用方法
　　
　　这里有两个对象，一个是访问的url，一个是返回的响应对象，也就是前面代码中的r对象，其中也有返回对象的一些属性。如下表所示。
　　
　　微信推文爬取图片示例
　　简单说一下这里使用的python自带的urllib中的request。但是整体的爬取思路是一样的。还用到了其他一些库，大家可以自行理解。代码和解释如下所示。
　　import urllib.requestimport re  # 正则表达式库import osimport urllib<br /><br /># 根据给定的网址来获取网页详细信息，得到的html就是网页的源代码def getHtml(url):    page = urllib.request.urlopen(url)    html = page.read()    return html.decode('UTF-8')<br /><br />def getImg(html):    reg = r'data-ratio="0.75" data-s="300,640" data-src="(.+?)" data-type="jpeg"'    # 括号里面就是我们要取得的图片网址    imgre = re.compile(reg)    imglist = imgre.findall(html)      # 表示在整个网页中过滤出所有图片的地址，放在imglist中    x = 0    path = 'D:\\python_project\\GRASP_pic_from_wechat\\pic'    # 将图片保存到D:\\test文件夹中，如果没有test文件夹则创建    if not os.path.isdir(path):        os.makedirs(path)    paths = path + '\\'  # 保存在test路径下<br />    for imgurl in imglist:        urllib.request.urlretrieve(imgurl, '{0}{1}.jpg'.format(paths, x))          # 打开imglist中保存的图片网址，并下载图片保存在本地，format格式化字符串        x = x + 1    return imglist<br /><br />html = getHtml("https://mp.weixin.qq.com/s/z8p ... 6quot;)  # 获取该网址网页详细信息，得到的html就是网页的源代码print(getImg(html))  # 从网页源代码中分析并下载保存图片 查看全部

　　网页抓取数据百度百科(Python爬取QQ音乐单曲之前分析目标（策略：url）)
　　一、前言
　　前段时间尝试爬取网易云音乐的歌曲，这次打算爬取QQ音乐的歌曲信息。网易云音乐歌单通过iframe展示，iframe的页面元素可以借助Selenium获取。
　　另一方面，QQ音乐采用异步加载方式，套路不同。这是主流的页面加载方式。爬起来有点难，但也是对自己的挑战。
　　二、Python爬取QQ音乐单曲
　　我之前看过的的一个视频，很好地解释了编写爬虫的一般步骤，我们也将遵循这一点。
　　爬虫步骤
　　1.确定目标
　　首先，我们要明确目标。这次我们爬取了QQ音乐歌手刘德华的单曲。
　　（百度百科）-&gt;分析目标（策略：url格式（范围）、数据格式、网页编码）-&gt;编写代码-&gt;执行爬虫
　　2.分析目标
　　歌曲链接：#tab=song&amp;
　　从左边的截图可以看到，歌曲信息是分页排列的，每页显示30条，一共30页。点击页码或最右边的“&gt;”跳转到下一页，浏览器会向服务器发送异步ajax请求。从链接中，您可以看到 begin 和 num 参数，它们代表开始歌曲的下标（截图在第 2 页）。，起始下标为30），一页返回30，服务器响应返回json格式的歌​​曲信息(MusicJsonCallbacksinger_track({"code":0,"data":{"list":[{"Flisten_count1 ":...]}))，如果只想单独获取歌曲信息，可以直接拼接链接请求，解析返回的json格式数据。这里没有使用直接解析数据格式的方法，我使用Python中的Selenium方法，获取并解析一页单条信息后，点击“&gt;”跳转到下一页继续解析，直到解析完所有单条信息并记录下来。最后索取各单曲的链接，获取详细信息。单信息。
　　右边的截图是网页的源代码。所有歌曲信息都在类名为 mod_songlist 的 div 的浮动层中。在类名为 songlist_list 的无序列表 ul 下，每个子元素 li 显示一首单曲，类名是 songlist__album 标签下的 a，收录单曲的链接、名称和时长等。
　　3.写代码
　　1）下载网页内容。这里使用的是Python的Urllib标准库，自己封装了一个下载方法：
<p> 1 def download(url, user_agent='wswp', num_retries=2):
2 if url is None:
3 return None
4 print('Downloading:', url)
5 headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'}
6 request = urllib.request.Request(url, headers=headers) # 设置用户代理wswp(Web Scraping with Python)
7 try:
8 html = urllib.request.urlopen(request).read().decode('utf-8')
9 except urllib.error.URLError as e:
10 print('Downloading Error:', e.reason)
11 html = None
12 if num_retries > 0:
13 if hasattr(e, 'code') and 500 查看全部

　　网页抓取数据百度百科(教程)
　　我没什么事，刚学会部署git到远程服务器，也没什么事，就干脆做了一个爬网页信息的小工具。如果将其中的一些值设置为参数，扩展性能可能会更好！我希望这是一个好的开始，也让我在阅读字符串方面更加精通。值得注意的是，在JAVA1.8中使用String拼接字符串时，会自动读取你想要的字符串。拼接后的字符串由StringBulider进行处理，极大的优化了String的性能。废话不多说，展示我的XXX码~
　　运行结果：
　　
　　先打开百度百科，搜索词条，比如“演员”，然后按F12查看源码
　　
　　然后抓取你想要的标签，注入到LinkedHashMap中，就ok了，很简单吧！看代码
　　
import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.HttpURLConnection;
import java.net.URL;
import java.util.*;
/**
* Created by chunmiao on 17-3-10.
*/
public class ReadBaiduSearch {
//储存返回结果
private LinkedHashMap mapOfBaike;
//获取搜索信息
public LinkedHashMap getInfomationOfBaike(String infomationWords) throws IOException {
mapOfBaike = getResult(infomationWords);
return mapOfBaike;
}
//通过网络链接获取信息
private static LinkedHashMap getResult(String keywords) throws IOException {
//搜索的url
String keyUrl = "http://baike.baidu.com/search?word=" + keywords;
//搜索词条的节点
String startNode = "";
//词条的链接关键字
String keyOfHref = "href=\"";
//词条的标题关键字
String keyOfTitle = "target=\"_blank\">";
String endNode = "";
boolean isNode = false;
String title;
String href;
String rLine;
LinkedHashMap keyMap = new LinkedHashMap();
//开始网络请求
URL url = new URL(keyUrl);
HttpURLConnection urlConnection = (HttpURLConnection) url.openConnection();
InputStreamReader inputStreamReader = new InputStreamReader(urlConnection.getInputStream(),"utf-8");
BufferedReader bufferedReader = new BufferedReader(inputStreamReader);
//读取网页内容
while ((rLine = bufferedReader.readLine()) != null){
//判断目标节点是否出现
if(rLine.contains(startNode)){
isNode = true;
}
//若目标节点出现，则开始抓取数据
if (isNode){
//若目标结束节点出现，则结束读取，节省读取时间
if (rLine.contains(endNode)) {
//关闭读取流
bufferedReader.close();
inputStreamReader.close();
break;
}
//若值为空则不读取
if (((title = getName(rLine,keyOfTitle)) != "") && ((href = getHref(rLine,keyOfHref)) != "")){
keyMap.put(title,href);
}
}
}
return keyMap;
}
//获取词条对应的url
private static String getHref(String rLine,String keyOfHref){
String baikeUrl = "http://baike.baidu.com";
String result = "";
if(rLine.contains(keyOfHref)){
//获取url
for (int j = rLine.indexOf(keyOfHref) + keyOfHref.length();j < rLine.length()&&(rLine.charAt(j) != '\"');j ++){
result += rLine.charAt(j);
}
//获取的url中可能不含baikeUrl,如果没有则在头部添加一个
if(!result.contains(baikeUrl)){
result = baikeUrl + result;
}
}
return result;
}
//获取词条对应的名称
private static String getName(String rLine,String keyOfTitle){
String result = "";
//获取标题内容
if(rLine.contains(keyOfTitle)){
result = rLine.substring(rLine.indexOf(keyOfTitle) + keyOfTitle.length(),rLine.length());
//将标题中的内容含有的标签去掉
result = result.replaceAll("||</a>|<a>","");
}
return result;
}
}
　　以上就是本文的全部内容。希望本文的内容能给大家的学习或工作带来一些帮助，也希望大家多多支持！ 查看全部