百度网页关键字抓取( 2020年百度全面升级https后屏蔽了百度关键字的方法 )

　　百度网页关键字抓取(

2020年百度全面升级https后屏蔽了百度关键字的方法

)

　　由于百度在2015年全面升级https，屏蔽了搜索词wd/word，第三方网站分析工具很难获取百度的搜索关键词，无论是SEO还是SEM，而是提供一个eqid，使用eqid可以通过推荐API查询搜索关键词。这时候品牌区不会受到影响，可以直接传wd/word。

　　2020年将取消付费搜索SEM的eqid，品牌专区将不再直传wd。SEO只有eqid。不知道SEO什么时候跟进，eqid就没了。

　　但是仍然有一些方法可以获取搜索关键字。以下是获取百度关键词的几种方法：

　　由 UTM 标记

　　UTM 有三个必需参数，以及两个可选参数 term 和 content。这两个参数可用于存储搜索关键字。这个词搜索进来的流量会通过这个url方法，从而实现关键词的抓取。

　　注意：但是这种方法有局限性，即只适用于SEM关键词。如果是 SEO，您无能为力。

　　百度的推荐API

　　更新：2020年7月去掉了SEM的eqid，所以这个方法无法实现SEM的关键词，SEO还行。

　　虽然百度屏蔽了搜索关键词，但百度提供了API，让用户可以获取不同落地页对应的关键词。

　　具体原理是：百度搜索时，会先跳转到一个带有eqid的url，然后再跳转到搜索到的页面。中间带eqid的url是关联关键词，需要在GTM中。获取带有eqid的url，用维度存储，然后通过百度API获取eqid和关键词信息，通过eqid关联关键词。

　　百度提供的API接口有几个特点：

　　百度推荐api地址：

　　注：目前只有SEO有eqid，可以使用这种方法。

　　广告触发的关键字 ID

　　这是一种通过 URL 通配符实现的免费方法。

　　通过将 {keywordid} 添加到 关键词 目标链接，例如

　　{keywordid}&creative={creative}&{mediatype}={mediatype}&matchtype={matchtype}&adposition={adposition}&pagenum={pagenum}

　　当用户点击广告时，百度会自动将{keywordid}替换为百度系统中关键词的id：

　　{mediatype}=1&matchtype=2&adposition=mb1&pagenum=1

　　登陆页面上会有keywordid=121234。我们将使用这个id通过百度统计API（这是免费的）获取搜索关键字，了解{keywordid}的真正含义，并将其存储在Google Analytics的自定义维度中。

　　国内有增长工具采用这种方式获取百度关键词。

　　搜索词返回 API

　　返回API链接的方法是点击广告后，从百度服务器发送到客户监控服务器的延迟监控请求（可能有15-30分钟的延迟），客户基于对采集到的反馈信息进行进一步处理，目前支持账号ID、搜索词、ip、点击时间4个信息：

　　比如我们要订阅账号ID、搜索词、时间和ip，那么返回链接可以设置如下：

　　? uid={userid}&query={query}&ip={ip}&time={time}

　　点击广告时的真实请求示例如下：

　　%e9%b2%9c%e8%8a%b1&ip=106.115.104.89&time=00

　　然后就可以根据IP和时间戳来匹配着陆页，就可以知道对应的着陆页是哪个搜索关键词来的。

　　更多信息请参见：#/content/?pageType=1&productlineId=3&nodeId=475&pageId=373&url=

　　总结一下，各种方法的使用场景：