如何抓取网页数据(怎么用谷歌来分析网站的API,怎么才能获得浏览器的数据报告)
优采云 发布时间: 2022-04-01 08:06如何抓取网页数据(怎么用谷歌来分析网站的API,怎么才能获得浏览器的数据报告)
有很多网友担心如何用谷歌分析网站的API,如何获取浏览器的数据报告,让小编为大家带来详细的分析方法。
1.注册谷歌分析
注:以下操作基本需要爬墙,请自备梯子。
登录您的 Google 帐户,注册 [Google Analytics]
然后设置你的账户基本信息
获取跟踪 ID 并同意协议。
2.将 Google Analytics 代码添加到 网站
登录后会有一个全站跟踪代码,将带有跟踪ID的代码复制到你的项目中。
[入门]
在您的 网站 上安装跟踪代码
[例子]
安装跟踪码后,您可以发布您的网站,在这个管理后台可以查看您的网站访问数据。
以上只是基本操作。完成上述操作后,您可以继续执行以下步骤,以便您的本地服务获取 Google Analytics 的数据。
3.查看google api
如果你想在你的网站中显示这个数据,而且每次只能登录本地后台查看,怎么办?
谷歌提供api接口供您自由配置指标查询您的网站访问数据,并提供【各种客户端库】的查询支持。
4.api 调用演示
本文使用的后台技术是NodeJs,使用express框架+redis技术实现。
项目目录结构,项目代码放在[github]上,可以适当修改配置,安装依赖,可以应用到自己的网站。
在这个项目中,使用了官方的 nodejs api npm 包 `googleapis`。
使用redis的部分是缓存access_token和一些数据。目前部分接口的数据缓存23小时(不想频繁请求接口)。
5.配置你的个人项目
项目中需要配置的地方,首先是数据视图id,在创建账号的时候生成。您可以在账户管理的“数据视图”中看到它。点击`data view settings`获取data view id
viewId: 'ga: 你的数据视图 id'
第一步:设置密钥
打开【Google API Console】,首先创建一个项目,然后点击`Enable API`,搜索google analytics,启用`Google Analytics Reporting API`,然后启用`Analytics API`。
第 2 步:创建凭据
然后创建凭证,点击`Credentials`-->`Create Credentials`-->选择`Service Account Key`-->选择一个新的服务账户,并设置角色,输入名称,点击`Create`,保存密码密钥文件。
将此密钥复制到项目的 `app/config` 目录,并将名称更改为 `key.json`。
第 3 步:添加访问此帐户数据的权限
打开已注册的Google Analytics的数据控制台(注册时可以查看数据),点击`管理`-->`媒体资源`-->`用户管理`-->`添加新用户`,进入api控制台 `credentials`-->list在`Manage service account`的上角,复制service account id,粘贴到邮箱地址栏,设置权限(只能设置权限为阅读和分析)。这个控制台还可以设置过滤规则和白名单等,有需要的可以研究一下。
至此,您就完成了。点击你的网站,如果能在Google Analytics的数据控制台看到数据,就可以启动我的项目文件,调用api接口,就可以得到json数据了。
ps:在这个【api参考】中,你可以自由设置你想要的数据,修改demo界面即可。
### 项目路由文件注释
采用
6.本地测试和在线部署
目前由于墙的原因,无法访问google服务。我使用一个工具为我的本地数据打开节点进程的代理。(mac端`Proxifier`)
在线部署也需要解决墙的问题,最好把这个小项目托管在可以访问google服务的服务器上。
至于文章开头的图表,来源于接口返回的数据,经过前端处理后由echart显示的结果。