干货内容:通过Python抓取天猫评论数据

　　干货内容:通过Python抓取天猫评论数据

　　天气越来越冷，觉得应该给自己添点暖和的衣服，于是想到了天猫，开始搜索。我觉得南极人的保暖内衣不错。这么多衣服怎么选？我通常选择按销售额排序。毕竟销量也能反映产品的热度和口碑状况，所以来到了这个页面%*敏*感*词*%CF%BC%AB%C8%CB%B1%A3%C5%AF%*敏*感*词* %DA% D2%C2&sort=d&style=g&from=.list.pc_1_suggest&suggest=0_1#J_Filter,

　　点击进去后发现有很多历史累积评价，于是我一页一页地查看，觉得口碑还是很好的，所以选择了这款产品。我想每个人的购物方式可能都一样，可能比较复杂（货比三家，比较口碑，联系卖家……）。

　　如果有一天，我想研究这些评论数据，然后玩转高层的自然语言处理，我是不是应该把这些评论复制到一个大表中呢？虽然可以这样做，但我总觉得效率有点低（不是比爬虫低一两个数量级~）。如果你会爬行，你就会感受到自动化带来的刺激。接下来，我们将研究如何使用Python爬取天猫的评论数据。

　　照常打牌，发现不软。 . . .

　　一般的套路是这样的。在上面的评论页面，右键选择“查看网页源代码”，代码如下：

　　我想搜索原创页面找出源代码中的哪个位置有评论“非常好，高级且经济高效”，不幸的是，当我按Ctrl + F并输入“非常好”时，虽然没有这样的词。 . 是不是抓不到天猫网站的评论数据？不，还是有方法的，但是不能打普通牌，因为天猫的评论数据是异步存储在别处的。

　　非常规方法，眼睛发光！

　　在评论页面上，我们按 F12（我正在使用 Chrom 浏览器）键，然后出现了：

　　可能你的页面布局分为两部分，下半部分什么都没有。这时候需要做两件事：1.选择Network下的JS部分，因为天猫的评论数据是异步存储在一个JS连接里面的； 2、刷新页面，找到开头名为“list_detail_rate”的文件。当你打开这个文件时，它看起来像这样：

　　你会发现有一个请求连接。接下来，你只需要复制这个链接，把这个地址粘贴到浏览器中，你就会发现这些评论都隐藏在这个地方了。 . .

　　哈哈，那我们可以用正则表达式来抓取类似红框的信息（用户昵称、评论时间、购买的包裹、衣服尺码、评论内容）。你也可以问一个问题。您的页面只是评论信息的页面。如何捕获所有页面上的所有评论信息？我们发现了一个规则，复制的连接可以概括为这种形式：每次更改最后一个 currentPage 值时，都可以捕获到不同页面的评论信息。

　　爬虫知识：

　　请求模块：

　　get方法向对端服务器发送url请求；

　　

　　text方法可以将get请求的响应转换成文本字符串格式；

　　重新模块：

　　findall函数使用正则表达式查找文本中所有匹配的结果，语法格式：

　　findall(模式、字符串、标志)

　　pattern 接受一个正则表达式对象；

　　string 接受要处理的字符串；

　　flags 接受一个模式参数，比如是否忽略大小写（flags = re.I）；

　　服务：

　　# 导入需要的开发模块

　　导入请求

　　重新导入

　　#创建循环链接

　　网址=[]

　　for i in list(范围(1,100)):

　　urls.append('' %i)

　　# 构建字段容器

　　昵称 = []

　　评级 = []

　　颜色 = []

　　尺寸 = []

　　

　　ratecontent = []

　　#循环获取数据

　　对于网址中的网址：

　　content = requests.get(url).text

　　# 使用 findall 匹配带有正则表达式的查询

　　nickname.extend(re.findall('"displayUserNick":"(.*?)"',content))

　　color.extend(re.findall(pile('颜色分类:(.*?);'),content))

　　size.extend(re.findall(pile('size:(.*?);'),content))

　　ratecontent.extend(re.findall(pile('"rateContent":"(.*?)","rateDate"'),content))

　　ratedate.extend(re.findall(pile('"rateDate":"(.*?)","re​​ply"'),content))

　　打印（昵称，颜色）

　　#写入数据

　　file = open('南极天猫评估.csv','w')

　　for i in list(range(0,len(nickname))):

　　file.write(','.join((nickname[i],rated[i],color[i],size[i],ratecontent[i]))+'\n')

　　file.close()

　　最终爬虫结果如下：

　　今天的爬虫部分就介绍到这里。本次分享的目的是如何解决网页信息的异步​​存储。在后续的分享中，我将对爬取的评论数据进行文本分析，涉及分词、情感分析、词云等。

　　2015年每天进步一点

　　干货内容:seo搜索引擎优化怎么做（seo自然搜索优化）

　　SEO 搜索引擎优化

　　要做SEO，你必须了解搜索引擎优化。

　　什么是搜索引擎？搜索引擎一般是指没有特殊说明的全文索引引擎，即采集互联网上数百到数十亿的网页，对网页中的每一个词（关键词）进行索引，构建索引库.

　　搜索引擎的工作原理（抓取、抓取、预处理）。

　　从互联网上抓取网页 - 建立索引数据库 - 通过在索引数据库中搜索对它们进行排名。

　　常用搜索技巧：准确表达-查询词的主题相关性和简洁性-根据网页特征选择查询词。

　　两大属性：搜索引擎的媒体属性——搜索引擎的交易属性。

　　百度竞价推广9种常见模式：搜索推广位、链接推广位、百度知心、百度健康、品牌地标、品牌起跑线（网页+知乎两种形式）、问答营销、品牌专区、闪头、等等，

　　用户点击了推广链接。推广链接被点击的次数称为点击量，即Clicks，产生的成本称为点击成本，平均每次点击成本称为单次点击价格，即CPC（Cost Per Click）。推广信息的点击次数与展示次数的比值称为点击率，即CTR（ClickThrough Rate）公式为：点击率=（点击量/展示量）*100 %。

　　用户打开浏览器时页面加载和打开的速度称为页面浏览量。

　　如何写出高质量的创意？在每个推广单元中，有两个扩展思路和两个标准思路。写idea的时候要注意在idea中收录关键词组的root。

　　较长的创意：标题限制在20个字以内，标题中出现1-2次的词根为佳；创意描述限制在100字以内，能出现2-3次的词根为佳，保证句子流畅，

　　标准创意：标题限制为13个字符，标题最好有词根的1~2倍；两行创意总共不超过36个字符，最好有1到2倍的词根。

　　搜索者分为三种类型1.导航搜索者：2.信息搜索者：3.事务搜索者：

　　一般搜索关键词—产品搜索关键词—属性搜索关键词

　　网页的标题：创建一个独特而准确的页面标题（蜘蛛爬行的标志，网站名称后缀）。标题主题要明确。

　　优化 URL 结构 1 动态 2 静态（友好 URL） 3 伪静态

　　面包屑使您的 网站 更易于搜索和浏览。

　　三大SEO工具：百度站长平台、站长工具、百度统计

　　着陆页主要用于提高转化率。登陆页面分为：首页、列表页、文章页面。

　　功能：引导注册、转化率、引导客户消费（提现）

　　登陆页面分为三种类型：信息登陆页面、紧凑登陆页面和交易登陆页面。

　　CPM（Cost Per Mille）：每千次展示的费用，是指向 1000 人展示一个媒体广告的成本。

　　核心关键词扩展：经验考虑、日志文档分析、对他人的引用网站。

　　长尾关键词扩展：1百度下拉框2同行资源3相关性扩展4关键词策划大师

　　有效搜索流量（点击率CIR，又称点击率）。

　　有效点击、无效点击、点击欺诈（无效点击≠恶意点击）

　　CPC（Cost Per Click）是互联网营销中最著名和流行的营销效果计费方法。

　　

　　二次跳转：当网站页面展开时，用户在页面上产生的点击量称为“二次跳转”。二跳的次数就是二跳的量。

　　搜索着陆页优化

　　搜索引擎影响点击的因素有哪些：位置、创意、性能

　　一个帐户最多可以收录 100 个促销计划，每个促销计划最多可以收录 1000 个促销单元，每个促销单元最多可以收录 5000 个 关键词 和 50 个广告素材。 关键词 与同一单元中的想法之间存在多对多的关系。

　　关键词的匹配方式：精确匹配---字面上与关键词相同的搜索词

　　词组匹配---完全匹配 + 正好收录这个的词组 关键词

　　广泛匹配——完全匹配+收录关键词的短语+关键词的相关变体

　　Negative match---与词组匹配和广泛匹配一起使用，对于一些可能匹配但不符合推广意图的，可以在否定匹配相关词汇表中加入关键词，以防止相应的推广信息触发。

　　为搜索想法写作

　　搜索引擎出价

　　什么是搜索广告素材：广告素材是企业向搜索用户展示的宣传内容，包括标题、描述、访问 URL 和显示 URL。 关键词可以为你定位潜在客户，创意帮你吸引潜在客户。创意质量会极大地影响关键词的点击率，进而通过质量影响你的推广成本和推广效果。

　　通配符、断句符、闪烁的红色：通配符可以帮助您将 关键词 插入到您的广告素材中，并且通配符的广告素材将与触发的 关键词 一起显示，而不是通配符标志。可以在广告素材中插入多个通配符，以帮助您解决标题和说明的截断或换行位置。仅当促销结果显示在右侧的促销位置时才有效。当广告素材展示在用户面前时，标题描述和搜索词相同或含义相近的部分会以红色字体显示，称为广告素材红色。

　　关键词出价：什么是出价：出价是您愿意为每次点击支付的最高金额。百度的计费机制确保实际点击价格不超过您的出价，在某些情况下甚至可能远低于您的出价，尽可能节省您的推广预算。

　　质量与排名：什么是质量：是衡量关键词在搜索推广中质量的综合指标，在账号中以三星级的形式呈现。质量越高，推广质量越好，同等条件下赢得潜在客户关注和认可的能力越强。

　　点击计费方式：点击价格是指您为用户点击访问支付的实际推广费用

　　点击价格=（下一个出价*下一个质量）/关键词质量+0.01

　　6.设置区域推广和推广周期：一周为一个周期，按天设置。

　　质量、点击率、点击价格。

　　新的SEO生态链下如何优化搜索？

　　对于SEO人员来说尤为重要。有时我们需要“与时俱进”，改变我们的思维。 2022年SEO新生态下如何做好搜索优化？小兵将通过以下内容与大家分享心得和看法。

　　我们如何才能在 2021 年获得准确的流量？对于seo优化者来说尤为重要，需要“与时俱进”改变优化方式，那么2021年新站如何优化呢？根据以往的优化经验，士兵们将通过以下方式分享他们的经验和意见。

　　一、SEO 基础知识

　　国内SEO优化行业已经发展多年。 “网页收录”一直是站长们比较关心的问题。下面，大兵将重点给大家讲讲新旧网页的收录问题。

　　1、基本元素

　　很多基础是收录页面必不可少的元素，无论是新的网站还是旧的网站，基于多年的网站优化经验，我建议我们重点关注以下几个因素：

　　1、页面内容质量

　　优质的原创内容也能满足用户的搜索需求，这样的内容对搜索引擎总是友好的。

　　2、网站结构风格

　　

　　标准的网站结构设计和差异化的网站前端风格往往能给搜索引擎留下深刻印象，但这并不是建议你在网站结构上进行创新，相反< @网站在不同的行业中，网站的结构必须与主流的网站风格保持一致，否则搜索引擎蜘蛛很难有效识别和掌握，后者是网站 流量和排名都有影响。

　　3、网站主题信息

　　对于网络信息安全和内容的发展原创，搜索引擎越来越重视内容所有权的问题，建议做好跨学科的工作。

　　4、页面加载速度

　　很多网站管理员认为，只要网站打开速度不是太慢，网站如果你的网站打开速度快了，网站关键词排序就会缺乏耐力，这是一个很好的解决方案，根据官方公开文档的搜索引擎，建议PC和移动网页都在1.5秒内打开。

　　2、新网站收录

　　搜索引擎通常对新的网站s 有一个特定的审核周期。根据新的 网站 内容质量审核周期的长度和长度，在审核完成之前不会出现新的 网站 页面。为了缩短新版网站的审核周期，Soldier的建议如下：

　　1、在百度站长平台验证你的网站，填写网站注册号，相关网站主题，选择网站 type 和 field ，这一步是必须的，不要错过；

　　2、提交simfdh网站地图文件到百度站长平台；

　　3、增加网站相关行业的友情链接数量，提高搜索蜘蛛的频率；

　　4、保证新的网站页面在首页有展示入口，重要的内容栏可以在网站导航栏布局。新站初期，建议只更新一栏网站的内容，建立与搜索引擎的信任。

　　查看新的网站需要多长时间？新网站请参考百度评测期。新站评价期如何处理？这篇文章。

　　3、旧址收录

　　老版网站一般使用3到5年，不断更新维护。 收录 页面运行良好。但是，如果旧的网站突然出现不收录该页面，可能是由于以下原因：

　　1、内容同质化

　　老网站内容同质化问题严重，网站中多个文章的核心关键词可能存在冲突。

　　对于旧的网站，没有必要过多追求网站页面的收录。我们应该思考如何改进以前的内容以获得更准确的流量，例如更新和提高网站旧内容的质量，以满足更多用户的更多搜索需求。

　　2、在网站上添加一个新部分

　　这个网站的内容更新已经固定在一栏下很久了，后来又加了一栏。此时，新列的内容可能不包括在内。这种情况下，建议增加新栏目的曝光率，带动新栏目内容下的捕获率和收录率。

　　3、内容主题过于分散

　　随着搜索引擎算法的升级，网站内容的垂直性不断被强调。如果您的 网站 内容更新与 网站 主题无关或无关，则可能会影响您的 网站 搜索引擎评级。如果与网站主题无关的内容占据大部分比例，内容质量不高，可能会影响网站关键词的排名。

　　4、网站结构混乱

　　网站结构设计的杂乱是影响网页收录的重要因素之一，如缺少链接、链接到相关内容、忽略聚合标签等。

　　二、搜索引擎优化警告

　　搜索引擎优化过程中常见的几个问题：

　　1、首选域不是唯一的

　　首选域不是唯一的，这意味着网站页面的访问路径不一致。一般有以下几种情况：

　　①，域/index.html；

　　②.有www域名和无www域名双重解析，无301永久重定向操作；