汇总:对180+的SRC收集约300w相关资产后的简单分析

　　汇总:对180+的SRC收集约300w相关资产后的简单分析

　　资产分析

　　前言

　　这是对之前的 X 射线分析的后续分析。本来想写很多内容的。整理期间，我用的bug notes连续两次出问题。很多笔记乱七八糟，我的心态爆炸了。终于把比较直观的内容拿走了。编写了现有结果的简单分析统计数据 文章。

　　自动化扫描平台搭建完成后，首先手动录入189个src，自动采集5808个主要域名。然后，基于这些资产开始了一个完全自动化的采集和扫描测试循环。目前单个子域每天扫描约200-400个主域名，单个漏洞扫描约1500-4500个节点网站。

　　body src 采集源

　　在后续的采集整理过程中，有的src网站已经好几年没有维护了，有的src采集了太多的漏洞和限制，后来取消了一些src的关注。

　　设置好目标src后，大部分主域名和各种资产都会被自动采集识别，所以会出现采集到非src资产的情况，整体识别逻辑和规则还在根据结果进行优化。

　　资产采集方式

　　资产采集无非就是子域名采集、web信息采集、端口扫描、服务识别。

　　简述目前的鉴别方法：

　　目前还有162个，4000+个主域名，累计收录280w个子域名，48w+个web，23w+个服务资产。

　　网络资产

　　

　　网络资源来源

　　这里可以看到子域名资产是280w，而web资产只有43w。由于子域名不一定对应web资产，存在大量泛解析等无效资产，仅靠dns查询的信息无法进行更高精度的过滤，所以数量真正的网页比子域名的数量要少得多。

　　在43w个web资产中，虽然做了进一步的处理，但是还是有一些无效的资产。主要有以下三个原因：

　　虽然在oneforall上做了一定的识别和过滤，理论上可以解决通用域名的问题，但是在大量使用的时候还是无法进行稳定的识别。一旦出现漏报，就会产生大量的无效域名。似乎没有人提到过这一点。这种情况在单一场景下可能问题不大，但是会浪费大量的资源用于自动化扫描，而且这个区域比一般分析更难自动识别。目前，已经实施了一些识别策略，但仍有改进的空间。

　　有一些网站的主域名属于对应公司，但内容其实是其他的网站。

　　基于以上情况，统计目前采集到的资产后，排名前20的资产如下：

　　在这些资产中识别出1127个不同的指纹，top20指纹类别为：

　　由于使用了复杂的指纹库，内置了nginx、jQuery等识别，导致统计top fingerprints被此类指纹占用...

　　指纹可以做重量识别，开源库基本不会做这个，但是自己整理太麻烦了。

　　另外，我统计了一下指纹库的数据。指纹库收录命中各类指纹10416枚，命中指纹2373枚，即src场景指纹库有效指纹约占25%。

　　服务资产

　　服务识别的前提是端口识别。端口识别的IP来源主要是子域名和web解析的IP地址。由于目标中可能存在大量非真实IP，这里是经过一定的去重和真实IP验证后的资产结果。

　　

　　xnmap工具的规则体虽然是基于nmap的，但是其设计的识别思路与nmap不同，不会以命中一条规则而告终。

　　在24w+个服务资产中，一共识别出881个不同的服务，2467个默认服务（nmap规则），top20服务如下：

　　共识别出14987个不同端口，top20端口如下

　　可惜目前只有src相关的公司参与，并不具有普遍性。如果范围足够广，可以利用这些高频端口进行快速端口识别。

　　在统计nmap规则时发现，虽然有11786条服务识别规则，但实际上命中的规则有535条。从这点来看，nmap中的垃圾指纹其实还是挺多的。

　　后记

　　本来打算在发这个文章的时候开放一些查询接口，但是看了自己的土豆网服务器，估计改成多用户的工作量，emmmmm……

　　所以先看一篇文章文章，有兴趣的人多了，以后继续折腾吧。

　　根据目前的经验，单个场景下优秀的工具很多，但在资源有限的情况下，很难采集和扫描*敏*感*词*的自动化信息。该工具修改和适配较多，具体细节可能会在以后整理分享。如果各位高手对相关内容感兴趣，欢迎各位高手与我交流！

　　师傅师傅注意

　　过去的问题 文章

　　解决方案:亚马逊数据采集工具有哪些？亚马逊数据采集工具推荐

　　放开眼睛，戴上耳机，听~！

　　如何批量处理 采集 亚马逊产品数据？今天小鱼君就为大家带来亚马逊数据采集工具推荐，需要的朋友一起来看看吧~

　　如何批量处理 采集 亚马逊产品数据？今天小鱼君就为大家带来亚马逊数据采集工具推荐，需要的朋友一起来看看吧~

　　1. 优采云

　　优采云数据采集器，实现亚马逊关键词搜索排名的自动监控。可自动监测亚马逊关键词搜索排名，完全替代人工查询。

　　在 优采云采集器 中，打开完成的 [Amazon-关键词Search Results采集] 模板。

　　输入运送区域的邮政编码和 关键词

　　启动优采云并让它自动采集数据。

　　

　　稍等片刻后，我们就得到了关键词搜索到的item数据。等待采集完成后，就可以结束采集并导出数据了。

　　采集 完成后，需要分析时，可一键导出历史数据，用于排名搜索分析。

　　例如，我想在搜索无线充电器关键词时查看asin B089RHFSSR在3/30和3/31的排名变化。然后一键导出3/30和3/31的数据。通过搜索B089RHFSSR发现：3/30在第1页排名第18位，3/31在第1页排名第23位，排名下降了5位。警报。

　　以上过程总共只需要2分钟。这里只是以一个关键词和一个asin的监控为例。当需要监控的关键词和asin较多时，优采云会为我们节省大量的时间和精力。

　　2.米京通跨境

　　米京通跨境电商erp系统可以批量采集亚马逊商品，一键将其他平台的商品数据批量复制到自家亚马逊店铺。主要功能如下：

　　1.一键复制批量上传

　　亚马逊批量listing工具可以复制任意平台商品数据，也可以是自己的，支持所有商品、商品分类、单品、搜索地址的复制和移动。

　　2.完美复制快速高效

　　无论是产品标题、标题图片、主图、描述、销售属性、属性图，都可以完整复制。

　　

　　3.批量修改加水印

　　支持批量修改商品价格、商品数量、批量编辑图片、批量添加水印、覆盖水印、批量删除图片再批量上传图片！

　　4. 不同语言的自动翻译

　　如果批次 采集 与发布的站点语言不同，则支持自动翻译成目标语言。

　　3.店铺秘密

　　点小米提供商品管理、刊物加载、订单配送、图片管理、数据采集、数据搬家、数据统计、智能采购、库存管理等一站式管理服务。一个店秘书账号可以同时授权多个平台的多个店铺。

　　4.芒果店长

　　Mango Store Manager 始终是免费软件，并且有两个 VIP 程序。VIP年费用户还可领取10000个EDM群邮件。可对接wish、速卖通、eBay、Amazon、lazada、shopee等各大平台。

　　芒果店长ERP可以让产品轻量化运作。Mango店长可以进行批量操作，包括增加、删除和更改运输时间、运输量、产品运费、标签价格、产品名称等，提高卖家效率，加快产品发布、产品维护，减少商家的重复工作。平台可无缝对接20多家一流跨境电商平台，支持300多家*敏*感*词*API接口，每天处理超过250万笔订单。

　　以上就是小鱼君为大家推荐的亚马逊好数据采集工具。点小鱼平台还有收录更多类似的工具~有兴趣的朋友不妨点击转载搜索你想要的工具~