秘密:使用灯塔资产信息收集踩过的坑

　　秘密:使用灯塔资产信息收集踩过的坑

　　=====================================

　　免责声明 请勿利用文章中的相关技术从事非法测试。因传播、使用本文提供的信息而造成的任何直接或间接的后果和损失，由用户自行承担，作者对此不承担任何责任。工具来源于网络，安全自测，如有侵权请联系删除。

　　0x01 工具介绍

　　可以采集

的信息包括：

　　域名资产发现和整理P/IP 段资产整理端口扫描和服务识别WEB 站点指纹识别资产分组管理和搜索任务策略配置计划任务和周期任务Github 关键字监控域名/IP 资产监控站点变化监控文件泄漏等风险检测nuclei PoC 调用

　　0x02 安装使用

　　1、一键安装docker环境

　　sudo curl -s https://get.docker.com/ | sh

　　

" />

　　2.通过pip安装dcoker-compose

　　pip install docker-compose

　　3.通过git下载。拉到这里用了N久，效果和别的都一样，除了等待还是等待，还好最后还是安装成功了。

　　git clone https://github.com/TophantTechnology/ARLcd ARL/docker/docker volume create arl_dbdocker-compose pulldocker-compose up -d

　　4.登录灯塔系统，默认账号密码：admin/arlpass

　　https://127.0.0.1:5003

　　

" />

　　5.添加扫描内容，目标可以是ip地址也可以是域名。

　　6. 当状态显示完成时，表示扫描已经完成。

　　7.导出信息，查看扫描信息

　　0x03 工程链接下载

　　秘密:数据埋点采集的那些事儿

　　数据采集​​是数据分析的基础，点埋是最重要的采集方式。那么究竟什么是数据埋点采集呢？我们主要从三个方面来看：什么是埋点、如何设计埋点、埋点的应用。

　　一、数据采集

及常见数据问题

　　1. 数据采集

　　做任何事都要有目的和目标，数据分析也不例外。在进行数据分析之前，我们需要思考为什么要进行数据分析？你希望通过这个数据分析解决什么问题？

　　采集数据的方式有很多种，埋点采集是其中非常重要的一环。它是C端和B端产品的主要采集方式。数据采集​​，顾名思义就是采集对应的数据，是整个数据流转的起点。采集的不完整与否，直接决定了数据的广度和质量，并影响到后续的所有环节。在数据采集

有效性和完整性较差的公司中，企业经常会发现数据发生了显着变化。

　　数据处理通常包括以下五个步骤：

　　2. 常见数据问题

　　在大致了解了数据采集及其结构之后，我们再来看看工作中遇到的问题，有多少是与数据采集环节相关的：

　　（1）数据与背景差距较大，数据不准确——统计口径不同，埋点定义不同，采集方式带来误差；

　　（2）我要用的时候，没有我要的数据——没有提到数据采集要求，埋点不正确，不完整；

　　(3)事件过多，意义不明确——埋点设计方式，埋点更新迭代规则及维护；

　　(4)分析数据时，不知道看哪些数据和指标——数据定义不清晰，缺乏分析思路

　　我们需要从根本上解决问题：将采集

作为一项独立的研发业务，而不是产品研发的附属品。

　　二、什么是埋点

　　1.什么是埋点

　　所谓埋点是数据采集领域的一个术语。它的学名应该叫事件跟踪，对应的英文是Event Tracking，指的是捕捉、处理和发送特定用户行为或事件的相关技术和实现过程。

　　数据埋点是数据分析师、数据产品经理和数据运营人员，根据业务需求或产品需求，针对用户行为对应的每个事件开发埋点，并通过SDK上报埋点数据结果，记录和汇总数据埋点。继续之前的数据。分析、推动产品优化并指导运营。

　　该过程附有规范。通过定义可以看出，具体的用户行为和事件是我们采集的重点，还需要处理和发送相关的技术和实现流程；数据嵌入点服务于产品，来源于产品。息息相关，埋点在于具体的实战过程，关系到大家对数据底层的理解。

　　2、为什么要埋点

　　埋点是对产品进行全方位的持续跟踪，通过数据分析不断引导和优化产品。埋藏数据的质量直接影响数据质量、产品质量和运营质量。

　　（1）数据驱动埋点 深入分析到流量分布和流量层面，通过统计分析，对宏观指标进行深入分析，发现指标背后的问题，洞察潜在的问题用户行为与价值提升之间的关系。

　　(2) 产品优化——对于产品，用户在产品中做了什么，在产品中停留了多长时间，有什么异常需要关注。这些问题都可以通过埋点来实现。

　　（3）精细化运营——买点可以贯穿产品全生命周期、不同来源的流量质量和分布、人群的行为特征和关系，洞察用户行为与商业价值提升之间的潜在关系。

　　3、埋点方式

　　

" />

　　埋点的方法有哪些？大多数公司目前使用客户端和服务器的组合。

　　精度：代码埋点>视觉埋点>全埋点

　　3、埋点的框架与设计

　　1.埋点采集顶层设计

　　所谓顶层设计就是搞清楚埋点怎么埋，用什么方法，上传机制是什么，怎么定义，怎么实现等等；我们遵循唯一性、可扩展性、一致性等，我们需要设计一些公共字段和生成机制，比如：cid、idfa、idfv等。

　　用户识别：用户识别机制混乱会导致两种结果：一是数据不准确，比如UV数据不匹配；二是漏斗分析环节出现异常。因此，应该这样做：严格规范ID本身的识别机制；b. 跨平台用户识别。

　　同构抽象：同构抽象包括事件抽象和属性抽象。事件抽象是指浏览事件和点击事件的聚合；属性抽象是指合并大多数重用场景以增加源差异化。

　　一致性集合：一致性集合包括两点：一是跨平台页面命名一致，二是按钮命名一致；制定嵌入点的过程就是对底层数据进行标准化的过程，所以一致性就显得尤为重要，只有这样才能真正发挥作用。

　　渠道配置：渠道主要是指推广渠道、落地页、网页推广页、APP推广页等，这个落地页的配置要有统一的规范和标准

　　2.埋点采集事件及属性设计

　　在设计属性和事件的时候，我们需要知道哪些是经常变化的，哪些是不经常变化的，哪些是业务行为，哪些是基础属性。基于基本的属性事件，我们认为属性是必须要采集

的，只是属性中的事件属性是根据不同的业务进行调整的。因此，我们可以将埋点采集分为协议层埋点和业务层埋点。

　　业务分解：梳理确认业务流程、运营路径和不同细分场景，定义用户行为路径

　　分析指标：定义具体事件和核心业务指标需要的数据

　　事件设计：APP启动、退出、页面浏览、事件曝光点击

　　属性设计：用户属性、事件属性、对象属性、环境属性

　　3.数据采集事件及属性设计

　　Ev事件的命名也遵循一定的规则。当同一类型的函数出现在不同的页面或位置时，根据函数名命名，在ev参数中区分页面和位置。只有当按钮被点击时，才会根据按钮名称命名。

　　ev事件格式：ev分为ev标识符和ev参数

　　规则：

　　使用“#”连接ev标识符和ev参数（一级连接器）

　　使用“/”连接ev参数和ev参数（二级连接器）

　　ev 参数使用 key=value 结构。当一个key对应多个value时，value1和value2用“,”连接（三级连接符）

　　当埋点只有ev标志，没有ev参数时，不需要收录

#

　　评论：

　　ev标识符：作为埋点的唯一标识，用于区分埋点的位置和属性，不可变，不可修改。

　　ev参数：埋点后需要返回的参数，ev参数的顺序是可变的，可以修改）

　　

　　app埋点调整时，ev标识不变，仅修改后续埋点参数（参数值变化或增加参数类型）

　　一般埋点文档中收录

的sheet名称和功能：

　　A.暴露埋点总结；

　　B、点击浏览埋点汇总；

　　C、故障埋点汇总：一般会记录埋点的故障版本或时间；

　　D、PC、M端页面埋点对应的pageid；

　　E.各版本上线时间记录；

　　在嵌入式文档中，所有收录

的列名和函数：

　　4. 基于埋点的数据统计

　　如何使用埋点统计查找埋藏的电动汽车事件：

　　(1) 明确埋点类型（点击/曝光/浏览）——筛选类型字段

　　（2）明确按钮嵌入点所属的页面（页面或功能）——过滤功能模块字段

　　(3) 明确buried event name——过滤name字段

　　(4)如果知道ev的标志，可以直接用ev过滤

　　如何根据ev事件查询统计：点击查询按钮进行统计时，可以直接使用ev标志进行查询，有区分时可以限制埋点参数的值。因为不要求ev参数的顺序是可变的，所以在查询统计的时候，不能按照参数的顺序来限定。

　　4. 应用-数据流程的基础

　　一、指标体系

　　系统指标可以将不同的指标、不同的维度串联起来进行综合分析，会更快地发现当前产品和业务流程中存在的问题。

　　2.可视化

　　人们可以比文本更有效地解读图像信息，可视化对于数据分析极为重要。使用数据可视化可以揭示数据中固有的错综复杂的关系。

　　3.提供埋点元信息API

　　数据采集​​服务会将采集到的埋点写入到Kafka中。针对每个业务的实时数据消费需求，我们为每个业务提供单独的Kafka。流量分配模块会定时读取埋点管理平台提供的元数据。信息，在实时分发流量的各个业务Kafka中。

　　数据采集

就像设计产品一样，不能过头。不仅要留有扩展的空间，还要时刻想着数据是可用的、不完整的、详细的、稳定的还是快速的。