百度网页关键字抓取(2015年百度全面升级https后，屏蔽了搜索词/word)

　　百度网页关键字抓取(2015年百度全面升级https后，屏蔽了搜索词/word)

　　2015年百度全面升级https后，搜索词wd/word被屏蔽，第三方网站分析工具无法获取百度搜索关键词。无论是SEO还是SEM，都只提供了一个eqid，而eqid可以用来通过Referral API查询搜索关键字。此时品牌区不受影响，直接通过wd即可。

　　2020年将去掉付费搜索SEM的eqid，去掉SEO的eqid。这时候品牌区不受影响，直接通过wd即可。

　　但是，仍然有一些方法可以获取搜索关键字。以下是获取百度关键词的几种方式：

　　由 UTM 标记

　　UTM 具有三个必需参数，以及两个可选参数 term 和 content。这两个可选参数可用于存储搜索关键字。例如，当用户搜索“GA Station”时，对应的着陆页为：

　　小站

　　这样，通过这个UTM上的参数就可以知道这个词搜索的流量，从而实现关键词的抓取。但是，通过这种方法得到的投放关键词和用户搜索关键词是两个不同的概念，但如果做得足够仔细，它们可以看起来是相等的。

　　注意：但这种方法有局限性，即只适用于SEM关键词，如果是SEO，则无能为力。

　　百度引荐API

　　虽然百度屏蔽了搜索关键词，但百度提供了Referral API，让用户可以获取不同着陆页对应的关键词。

　　具体原理是百度在搜索的时候，会先跳转到一个带有eqid的url，然后再跳转到搜索页面。中间带eqid的url是关联关键字的。

　　比如我在百度搜索“GA肖战”，显示的网址就是肖战。可以看到上面的wd就是搜索关键字。

　　但是点击一个链接后，会先跳转到一个百度转账页面，上面没有wd。

　　我们需要获取eqid，然后通过百度Referral API将eqid与关键字关联起来。

　　百度提供的API接口具有以下特点：

　　百度referapi地址：

　　注：2020年7月，SEM的eqid被去掉了，所以SEM的关键词不能用这种方法实现，seo是ok的。

　　百度统计API

　　如果不想付费，也可以使用百度统计API，其实就是百度统计中的数据导出服务。

　　这种方法需要维护一个表。当有用户搜索时，通过百度统计API导出当天的所有搜索关键词，并与上次导出的数据进行匹配，看添加了哪个关键词。或者哪个关键词的IP数据增加了，那么这次用户的搜索词就是它。

　　广告触发关键字 ID

　　这是一种免费方法，通过 URL 通配符实现。目前百度凤凰巢系统仅支持向第三方平台开放关键词ID和创意ID。国内的增长工具就是通过这种方式获取百度关键词。，如诸葛IO，TalkingData采用这种方式。

　　通过将 {keywordid} 添加到 关键词 目标链接，例如

　　{keywordid}&creative={creative}&{mediatype}={mediatype}&matchtype={matchtype}&adposition={adposition}&pagenum={pagenum}

　　当用户点击广告时，百度会自动将{keywordid}替换为百度系统中关键词的id：

　　{mediatype}=1&matchtype=2&adposition=mb1&pagenum=1

　　其中，动态参数解析：

　　登陆页面上会有keywordid=12123。我们将使用这个keywordid通过百度统计API获取搜索关键字。可以看到前面方法导出的数据中有一个keywordid字段，与搜索关键字一一对应。实现关键词匹配。

　　注意：此方法仅适用于 SEM。

　　搜索词返回 API

　　返回API链接方式是点击广告后百度服务器向客户端监控服务器发送的监控请求（可能会有15-30分钟的延迟）。客户端根据采集到的返回信息进行进一步处理，目前支持四条信息：账号ID、搜索词、ip和点击时间：

　　比如我们要订阅账号ID、搜索词、时间和ip，那么回发链接可以设置如下：

　　? uid={userid}&query={query}&ip={ip}&time={time}

　　点击广告时的真实请求示例如下：

　　%e9%b2%9c%e8%8a%b1&ip=106.115.104.89&time=00

　　然后就可以根据IP和时间戳匹配落地页，就可以知道对应的落地页来自哪个搜索关键词了。

　　有关详细信息，请参阅：#/content/?pageType=1&productlineId=3&nodeId=475&pageId=373&url=

　　注：此方式适用于扫描电镜

　　总结

　　方法

　　是否支付

　　扫描电镜

　　搜索引擎优化

　　要求

　　UTM

　　自由

　　支持

　　不支持

　　百度引荐API

　　支付

　　不支持

　　支持

　　企业认证，北京地区百度云服务器

　　百度统计API

　　自由

　　支持

　　支持

　　关键字 ID

　　自由

　　支持

　　不支持

　　广告需要开启通配符，依赖百度统计API

　　搜索词返回 API

　　自由

　　支持

　　不支持

　　需要激活服务

　　总有一款适合你。