秘密:【工具】开源足迹和情报收集工具-----SpiderFoot

　　秘密:【工具】开源足迹和情报收集工具-----SpiderFoot

　　今天给大家推荐一款开源的足迹和情报采集

工具---SpiderFoot

　　SpiderFoot 是一种侦察工具，可自动查询 100 多个公共数据源 (OSINT)，以采集

有关 IP 地址、域名、电子邮件地址、姓名等的相关情报。

　　SpiderFoot是一款开源的智能自动化工具，内置了很多模块和接口，利用这些模块和接口从网上抓取目标相关的信息。

　　官网地址：

　　github项目地址：

　　SpiderFoot 可用于进攻性用途，即作为黑盒渗透测试的一部分，以采集

有关目标的信息，或用于防御性用途，以确定您的组织可以免费向攻击者提供哪些信息。

　　模块：

　　SecurityTrails (sfp_securitytrails)：SecurityTrails() 具有广泛的 DNS 和 Whois 数据，任何威胁情报分析师、安全分析师或调查员都应考虑这些数据。该模块将在其 API 中查询 IP 地址、域名、电子邮件地址和拥有的网络块，以识别共同托管的站点、在同一电子邮件地址*敏*感*词*册的域等。需要 API 密钥，但可以免费使用。

　　

" />

　　(sfp_fullcontact): ( ) 有很多关于人和公司的数据。该模块使用其 API（需要 API 密钥）查找域名、电子邮件地址和姓名，以尝试识别其他电子邮件地址和姓名，以及实际位置和电话号码。

　　ARIN (sfp_arin)：ARIN（美国互联网号码注册局：）类似于 RIPE（SpiderFoot 已经有一个模块 --sfp_ripe），因为它们提供了一个 API 来查询有关网络范围的信息。但更有趣的是，从 OSINT 的角度来看，您可以通过名字和姓氏进行查询，同样可以通过域名来获取附属名称。该模块将获取任何已识别的域名并返回一个人名列表和 ARIN 注册数据，然后由其他模块扫描这些数据以识别潜在的电子邮件地址和主机名。它还会查找任何名称以识别可能相关的数据。

　　(sfp_hackedemails)：与 () 类似，提供免费服务来识别数据泄露中提到的电子邮件地址。该模块将查询其 API 以查找在扫描期间识别的任何电子邮件地址。

　　Citadel.pw (sfp_citadel)：如上所述，citadel.pw 提供了一种搜索大量泄露电子邮件地址的方法，而这正是该模块要做的。

　　CIRCL.LU (sfp_circllu)：CIRCL.LU（卢森堡计算机事件响应中心）提供免费但按需的 API，用于查询其丰富的历史 SSL 和 DNS 数据数据库。该模块将获取主机名、拥有的网络块、IP 地址和域名，并识别更多 IP 地址和主机名，以及与您的目标关联的 SSL 证书和共同主机。

　　

" />

　　(sfp_quad9)：聚合了许多威胁情报数据源并将它们集成到解析器中，任何人都可以指向 (9.9.9.9)。解析器不会针对集成数据源解析任何恶意内容。该模块将尝试使用 9.9.9.9 解析可识别的主机名、从属关系和共同主机，如果无法解析但使用配置的解析器解析，则将它们报告为恶意。

　　RiskIQ/PassiveTotal (sfp_riskiq)：RiskIQ() 为威胁情报平台提供了一个 API（需要 API 密钥）来查询其被动 DNS 和其他数据。该模块将查询其 API 以获取任何已识别的主机名、IP 地址、域名或电子邮件地址，并返回拥有的网址、其他 IP 地址、共同托管的站点以及使用提供的电子邮件地址注册的域（反向 Whois））。

　　之前的相关阅读：

　　1、

　　2、

　　3.

　　4.

　　秘密:技巧｜资产收集对抗-子域名爆破

　　技巧｜资产采集对抗-子域名爆破

　　冰刃安保

　　霜刃

　　人最大的敌人是自己的懒惰；做一件事不难，难在坚持。坚持一时不难，难的是坚持到底。全力以赴，你才有资格说你倒霉；感到疲倦，可能是因为你正处在人生的上坡路上；只有全力以赴，才能迎来更美好的明天！

　　发表于

　　收录

在集合中#Skills26

　　资产采集对抗——子域名爆破

　　子域名爆破是发现多种资产的好方法。在子域名爆破中，经常会遇到泛解析问题

　　什么是泛解析（参考百度百科）？

　　泛域名解析是：*.域名解析到同一IP。<br />域名解析是：子域名.域名解析到同一IP。<br />

　　这给我们做子域名爆破带来了很大的不便。以往爆破子域名常用的是分层子域名挖掘机。适用

　　最近在做漏洞挖掘的时候，发现跑的很多资产都是无效资产。解决这个问题对信息采集

很有帮助

　　前几天朋友给我发了一个自己写的子域名爆破工具。使用后，感觉很好。这是一个简短的解释：

　　这里我们以淘宝和百度为例：ping一个绝对随机的不能存在的域名，如果他解析了，说明他大概率用了泛解析

　　图片

　　结论：说明淘宝可能存在泛解析问题

　　以百度为例：

　　图片

　　结论：说明百度可能没有泛解析的问题

　　对于百度，我们可以直接使用layer subdomain digger等子域名爆破工具，但是对于淘宝资产，我们不能使用layer subdomain digger等常规工具

　　

" />

　　然后我们要做第一步，识别泛分析：

　　这里的思路是这样的：

　　图片

　　图片

　　这里用到的python3库：aiodns，他很强大，aiodns支持的查询类型：A、AAAA、ANY、CAA、CNAME、MX、NAPTR、NS、PTR、SOA、SRV、TXT。

　　5个完整的A记录解析成功，认为存在泛解析问题。如果没有泛解析问题，就为正则子域名收一梭子。如果检测到泛解析，使用破泛解析的子域名爆破工具

　　突破分析实现思路：

　　图片

　　刚才演示泛解析判断是否存在，仍然以资产淘宝为例：

　　测试演示：

　　import asyncio<br />import aiodns<br />import sys<br />loop = asyncio.get_event_loop()<br />resolver = aiodns.DNSResolver(loop=loop)<br /><br />async def query(name, query_type):<br /> return await resolver.query(name, query_type)<br /><br />try:<br /> coro = query(str(sys.argv[1]), 'CNAME')<br /> result = loop.run_until_complete(coro)<br /> print(result)<br />except Exception as e:<br /> print(e)<br />

　　CNAME查询几个不存在的淘宝域名，同样的思路，多次循环不存在的域名。如果访问不存在的域名，CNAME是

　　图片

　　图片

　　那么在爆破子域名的时候，可以先判断CNAME。在这里您可以维护特定制造商的 CNAME 列表。

　　代码：

　　

" />

　　先查询

　　CNAME记录，收录

则跳过

　　同理，方法三：A记录查询命中数：

　　如果A记录查询命中同一个ip&gt;10，后续爆破A记录解析的域名将不会显示该记录

　　通过这个思路，可以解决域名泛解析的问题

　　域名深度问题：replace提取最后一个域名前缀并添加到下一个fuzz+最后一个域名前缀

　　图片

　　图片

　　题外话：判断是不是真生意？

　　当域名较多时，检测该域名是否为真实业务非常重要。现在很多网站跳转到入口，点击任意一个子域名都会跳转到sso/入口，防止泛解析问题：

　　思路如下：

　　效果如下：

　　参考：

　　（一）常用域名备案参考：

　　(2)处理泛解析子域名爆破工具参考：

　　福利在文末！！！加好友回复“GO Black Hat”，赢取《GO Black Hat——渗透测试编程之书》