解决方案:电商关键词研究助力数据收集

　　解决方案:电商关键词研究助力数据收集

　　电商数据采集

　　电子商务行业正在以多种方式发展，以简化在线购物。2019年，约有19.2亿人在线购买商品或服务。预计这一数字将从 2019 年的 19.2 亿增加到 2021 年的 21.4 亿。2020 年在线购物变得更加流行，因为许多线下商店关闭，购物者也害怕在公共场合感染 COVID-19。统计数据显示，电子商务行业正在兴起，这意味着越来越多的企业在网上销售他们的产品和服务。

　　但是，要让客户更加关注头部电商平台，需要专业的知识和深入的研究。制定和维护电子商务 SEO 策略可以帮助卖家在营销工作中表现更好。Web 抓取是电子商务 关键词 研究的重要组成部分。它有助于采集大量公共数据以供关键词分析。然而，采集和维护数据也带来了挑战。

　　什么是电子商务 关键词 研究？

　　关键词 对领先电子商务平台的研究是 SEO 策略的一部分。这个过程帮助卖家找到搜索词来获得更高的排名和更多的流量。当卖家为顶级市场选择 关键词 时，他们会研究客户如何发现他们想要购买的商品。通常，卖家会制作与其产品和类别相关的企业 关键词 列表。

　　关键词研究的重要性

　　深入研究可以为卖家提供以下信息：

　　然而，这项研究涉及的不仅仅是不断发现新产品关键词。卖家跟踪 关键词 绩效并分析 关键词 历史记录也很重要，这样才能做出数据驱动的决策。了解搜索算法在电子商务平台中的工作原理可以成为业务增长的巨大推动力。

　　电子商务类型关键词

　　到现在为止，您应该知道为什么关键词研究很重要。重要的是要注意一些最常见的 关键词 电子商务类型：产品和服务详细信息、竞争对手 关键词 和受众条款。我们将深入研究这些 关键词 类型，看看可以采集哪些公共数据用于 关键词 分析。

　　产品和服务 关键词

　　出于多种原因，产品或服务说明必不可少。首先，这是卖家吸引客户购买您的产品或服务的机会。第二，卖家不能在产品标题中使用的关键词可以在这里使用。如果没有相关的 关键词 优化标题和描述，您的产品页面出现在搜索结果中的机会就会减少。

　　卖家使用 关键词 将他们的产品（或服务）与潜在客户搜索的字词相匹配。采集这些公共数据有助于卖家了解在他们的描述中使用哪个 关键词，因为搜索结果会根据查询短语而变化。

　　监控竞争对手

　　关键词和竞争对手使用的术语也可以提供有价值的参考。卖家必须不断监控竞争对手的动态，以了解其市场中正在发生的事情。

　　了解哪些 关键词 和术语有助于您的竞争对手获得最佳搜索结果，可以帮助您制定成功的 关键词 策略。

　　卖家从领先的在线零售商 网站 采集有关其竞争对手的公开可用数据。但需要注意的是，这些数据只能用于分析，不能用于复制其内容或用于其他恶意目的。

　　听众术语

　　受众术语揭示了卖家可能忽略的用户兴趣，从而为其产品或服务带来了很高的转化率。受众词可以通过描述增加额外的价值，并为产品页面带来更多流量。例如，如果卖家提供蛋糕装饰产品，则关于礼物或派对的 关键词 也可能与其客户相关。

　　当然，不可能在描述中收录所有的关键词。这就是为什么领先的市场在卖家账户中有额外的字段，卖家可以在其中输入他们的“隐藏 关键词”。

　　确定使用哪些 关键词 的秘诀很简单：采集公共数据并进行分析。最常见的方法是分析特定搜索结果如何随查询词变化。

　　搜索引擎和电子商务 关键词 研究

　　领先的市场索引信息并使用各种因素来确定在产品搜索结果中显示哪些页面。尽管搜索引擎基于不同的技术，但它们的工作原理相似。头部电商网站基本上也可以说是搜索引擎。事实上，一项消费者调查显示，与谷歌相比，更多的美国数字购物者在亚马逊上开始他们的产品搜索。

　　为网络搜索和电子商务平台查找相关 关键词 的最常见方法是输入不同的搜索词并采集有关所找到内容的公共数据。因此，卖家通常会结合搜索引擎和领先电子商务公司网站的结果进行更深入的分析。

　　电子商务网页抓取 关键词 研究

　　简而言之，网络抓取是一种从电子商务网站中采集公共信息的方法，被广泛使用。数据采集爬虫自动从目标 网站 请求和提取数据。Web 抓取解锁了在短时间内*敏*感*词*采集数据的能力。

　　对于想要保证产品排名靠前的卖家来说，采集相关品类的公开数据就足够了，分析排名中的竞争对手可能会增加收入。在这种情况下，使用由正确代理类型提供支持的内部网络爬虫足以确保数据采集过程顺利进行。

　　然而，由于缺乏知识和资源或想节省时间，卖家往往会将采集和提供相关电子商务数据的抓取服务外包出去。服务提供商不断为其客户采集数据，由于所需的数据量大，他们面临着各种挑战。

　　电子商务抓取挑战

　　从领先的电子商务平台采集*敏*感*词*数据是一项非常复杂的任务。采集和维护大量数据需要大量资源和知识。下面，我们概述了服务提供商可能面临的最常见挑战。

　　电子商务爬虫挑战的解决方案

　　数据采集具有挑战性，处理起来也很困难。但是，服务提供商可以选择多种方式来处理网络抓取。

　　总结

　　网上购物每年都变得越来越流行。从领先的电子商务平台采集数据并学习如何使用 关键词 可以帮助卖家做出数据驱动的决策，在搜索结果中排名更高，并有助于改进内容策略。客户数量和收入将相应增加。

　　*敏*感*词*采集公共电子商务数据的过程具有挑战性。应对反机器人限制、处理大量数据以及访问受地理限制的数据只是众多挑战中的一小部分。可靠的代理或高质量的数据提取工具可以帮助促进这一过程。然而，公司必须决定哪种方法最适合他们：使用和维护内部网络爬虫或外包第三方工具。

　　如果您想了解更多关于您可以抓取的电子商务数据来源或如何抓取 网站 而不被阻止，我们建议阅读我们的另一个微信 文章。

　　解决方案:Gartner：2021年SIEM（安全信息与事件管理）市场分析

　　【注：本文非翻译！】2021年6月29日，Gartner发布了2021年SIEM市场魔力象限分析（MQ）报告，对2020年全球SIEM市场进行了分析比较，由于2019年的报告推迟到2020年发布，因此省略了2020年的SIEM MQ。SIEM市场的定义 今年Gartner没有沿用之前对SIEM市场的定义，而是从更具前瞻性的角度对SIEM市场给出了新的定义。是否以及在多大程度上成为满足终端用户未来需求的变革性技术和方法。Gartner 将 SIEM 定义为满足以下客户需求的解决方案：

　　与前面的定义比较：

　　SIEM被定义为对安全事件数据的实时分析，以满足用户对攻击和泄漏的早期检测需求。SIEM 系统采集、存储、调查并支持安全数据的缓解和报告，以用于事件响应、取证和合规性。据笔者分析，新定义强调采集和遥测数据分析，以及事件调查。

　　更进一步，参考Gartner在2021年7月末发布的Hype Cycle。SIEM的定义是：通过采集和分析安全遥测和其他各种上下文数据源来支持威胁检测、安全事件管理和合规性。核心功能包括广泛的日志事件采集和管理、跨不同来源数据的分析功能，以及事件管理和响应、仪表板和报告等操作功能。总之，SIEM 越来越关注采集 遥测数据（例如流数据、数据包数据）。2021年供应商分析的SIEM MQ矩阵如下图所示：

　　对比之前的MQ矩阵：

　　可以得出以下结论：头部厂商大变，Exabeam、Securonix成为老大，Splunk大倒退。去年的IBM和Splunk两大强者退居二线，新一代势力Exabeam和Securonix取而代之。IBM虽然仍位列前三，但包括市场理解、产品策略和创新在内的愿景完整性维度较之前有明显下降。Splunk 甚至更倒退。其综合能力虽然排在第四位，但几乎是从矩阵掉入挑战者象限。为什么？就连Splunk的SIEM市场占有率也是全球第一！描述与销售无关。笔者估计，可能存在的问题是，Gartner此次评估的指导思想是考察面向未来需求的变革性技术和方法。显然，Exabeam和Securionix的整体理念、策略和技术更符合Gartner对SIEM未来发展趋势的理解。另一方面，IBM 和 Splunk 更专注于当下。进一步分析Splunk回归原因的线索可能包括：1）云SIEM（即SaaS SIEM）性能不足。这可能是最大的问题。Gartner 认为，到 2024 年，80% 的 SIEM 供应商将推出云原生和基于 SaaS 的 SIEM 版本，高于目前的 40%。再看Exabeam和Securonix，都在云SIEM领域投入巨资。2）价格高，这是一个老问题。3）用户体验和界面一般，主要是其多个组件（Splunk ES、UBA、Phantom）之间的集成度不够。放眼IBM，在云SIEM方面不算领先（现有的QRadar on Cloud一般），正在如火如荼地向云迁移。令人惊讶的是，尽管配备了 Resilient SOAR 产品，但 Gartner 表示其编排自动化功能表现不佳。看来其收购的SOAR产品有问题，具体情况不得而知。另一方面，Exabeam和Securonix，尤其是Exabeam，体现了Gartner对现代SOC（Gartner对下一代SOC的称呼）的思考，比如很好地整合SIEM和NDR、UEBA、SOAR、TI、威胁狩猎，以及充分利用机器学习技术。更重要的是，它们都提供云 SIEM（即 SaaS SIEM）。其中Exabeam的SaaS基于GCP，而Securonix的SaaS基于AWS和Azure。

　　SaaS SIEM厂商的崛起代表了未来的趋势。

　　在 2019 年的评估中，Gartner 也选择了 SaaS SIEM 厂商作为入围候选，但当时能够入选的厂商寥寥无几。在这场比赛中，SaaS SIEM厂商纷纷入选，这也印证了Gartner对未来的判断。我们先来看看榜单上的新供应商：Elastic、Gurucul、Microsoft、Odyssey 和 Sumo Logic。名单上有 7 家新供应商，其中 5 家专注于 SaaS SIEM。进一步分析可知，微软、Odyssey、Sumo Logic的SIEM是纯SaaS，并没有提供用户可以本地部署的商业模式。Gurucul和Elastic也是基于SaaS，辅以传统的SIEM产品模式。来看看有哪些连续两年以上上榜的厂商，其中8家拥有SIEM的SaaS版本：Exabeam推出了Fusion SIEM作为基于GCP的SaaS模型品牌；FireEye的Helix是纯SaaS模式；IBM 在 SaaS 方面表现一般，但也推出了 QRadar on Cloud（作为 IBM Cloud 中的托管版本），并且正在将 QRadar 集成到 Cloud Pak for Security 中；ManageEngine较弱，但也有基于zoho cloud的SaaS版本；McAfee于2020年7月发布了基于Oracle Cloud的ESM Cloud，可视为SaaS版本；Rapid7的SIEM是纯SaaS的，号称云原生SIEM，架构在AWS上；Securonix 还有一个基于 AWS 和 Azure 的 SaaS 版本；Splunk 将于 2020 年 7 月推出 Mission Control 作为其 SaaS 版本的 SIEM。据统计，2021年共有20家厂商上榜，其中13家有明确的云SIEM战略和SIEM的SaaS版本，其余7家厂商大多擅长做盒子，软件投入有限。其中就有一家SIEM大厂LogRhythm，号称正在加紧云原生SIEM的开发。据笔者分析，如果LogRhythm不立即升级其架构，最终将以ArcSight（Micro Focus）收场。

　　ArcSight (Micro Focus) 和 LogRhythm

　　结合笔者对ArcSight的感受，再多分析一下。今年来看，ArcSight在技术上的进步不大。一方面，架构重构带来的好处正在逐渐显现，虽然还没有完成彻底的改造；另外，2020年终于有了SOAR功能（源于2020年7月收购ATAR Labs），UI也有所改进。ATT&CK映射也完成了。但云化还不够。如果说ArcSight是老一代的经典（另一家是QRadar），那么LogRhythm可以看作是Mesozoic的典范（另一家是Splunk）。到目前为止，Splunk（10亿美元）、QRadar（7亿美元）、ArcSight（2.1亿美元）和LogRhythm（1.9亿美元）仍然是销售额前四（2020年），四者之和占全球总量的60%。%（引用自 Gartner 统计数据）。LogRhythm 的架构也有点过时。虽然用的是ES等大数据架构，但也混用了MSSQL等古董级别的数据库。在追求Gartner现代SOC理念的道路上，它们基本一致，除了cloud SIEM比较落后。LogRhythm 正在开发云原生 SIEM，但切换过程会很痛苦，因为现有客户群很大，遗留版本很多，不像新一代那么累赘。产品分析 根据Gartner的说法，经过十多年的发展，SIEM产品处于早期主流阶段。十年来，没有飞速发展，但一直在稳步推进。这期间，遇到了很多挑战。很多人提出SIEM死了，但都安然无恙，充分体现了SIEM的开放包容性。XDR的挑战目前SIEM的主要挑战来自于XDR，但考虑到XDR主要是面向中型客户的全家桶单一厂商打包方案，意味着在很多场景下无法替代SIEM。相反，从目前来看，XDR可能会融入SIEM，因为SIEM厂商也在不断增强D和R的能力，增强和融合终端和网络的遥测能力。或许未来它会像UEBA一样，成为SIEM的最佳伴侣。很多人提出SIEM死了，但都安然无恙，充分体现了SIEM的开放包容性。XDR的挑战目前SIEM的主要挑战来自于XDR，但考虑到XDR主要是面向中型客户的全家桶单一厂商打包方案，意味着在很多场景下无法替代SIEM。相反，从目前来看，XDR可能会融入SIEM，因为SIEM厂商也在不断增强D和R的能力，增强和融合终端和网络的遥测能力。或许未来它会像UEBA一样，成为SIEM的最佳伴侣。很多人提出SIEM死了，但都安然无恙，充分体现了SIEM的开放包容性。XDR的挑战目前SIEM的主要挑战来自于XDR，但考虑到XDR主要是面向中型客户的全家桶单一厂商打包方案，意味着在很多场景下无法替代SIEM。相反，从目前来看，XDR可能会融入SIEM，因为SIEM厂商也在不断增强D和R的能力，增强和融合终端和网络的遥测能力。或许未来它会像UEBA一样，成为SIEM的最佳伴侣。XDR的挑战目前SIEM的主要挑战来自于XDR，但考虑到XDR主要是面向中型客户的全家桶单一厂商打包方案，意味着在很多场景下无法替代SIEM。相反，从目前来看，XDR可能会融入SIEM，因为SIEM厂商也在不断增强D和R的能力，增强和融合终端和网络的遥测能力。或许未来它会像UEBA一样，成为SIEM的最佳伴侣。XDR的挑战目前SIEM的主要挑战来自于XDR，但考虑到XDR主要是面向中型客户的全家桶单一厂商打包方案，意味着在很多场景下无法替代SIEM。相反，从目前来看，XDR可能会融入SIEM，因为SIEM厂商也在不断增强D和R的能力，增强和融合终端和网络的遥测能力。或许未来它会像UEBA一样，成为SIEM的最佳伴侣。XDR可能会集成到SIEM中，因为SIEM厂商也在不断增强D和R的能力，增强和融合终端和网络的遥测能力。或许未来它会像UEBA一样，成为SIEM的最佳伴侣。XDR可能会集成到SIEM中，因为SIEM厂商也在不断增强D和R的能力，增强和融合终端和网络的遥测能力。或许未来它会像UEBA一样，成为SIEM的最佳伴侣。

　　去年作者提出了一个公式：SOC平台=SIEM+UEBA+EDR+NDR+SOAR，今年可以改为：SOC平台=SIEM+UEBA+XDR+SOAR+TH。其中，TIP被放到了SOAR中，TH指的是Threat Hunting。目前很多SIEM厂商都推出了XDR产品，可以看作是为SIEM量身定做的版本。许多 SIEM 供应商已经开始涉足威胁搜寻。SOAR Fusion 的问题

　　另外，必须提到 SOAR。2018年开始，SIEM厂商开始大举收购，进军SOAR领域。在过去的几年里，SOAR已经成为SOC平台的关键能力（几乎是必备能力）。

　　在 Gartner 的 SIEM 关键能力评估报告中，给出了三个新的用例：简单的 SIEM 用例、复杂的 SIEM 用例和现代 SOC 用例。以SOAR为代表的“编排自动化能力”在这三个用例中的权重分别为5%、5%和10%。也就是说，Garner认为，对于SIEM来说，SOAR本身有一定的分量，但不是必不可少的；但是对于SOC平台来说，SOAR是非常关键的。

　　作者在SOC平台工作了20年，现在专注于SOAR和资产管理，因为他认为SOAR将是未来SOC平台的核心能力【资产管理在SOC中的重要性和重构的必要性】稍后讨论]

　　】. 通过以上分析也可以发现，“SOAR不在SIEM中，SOAR在SOC中”将是当前和未来的主流发展趋势。也就是说，SOAR将作为一个独立的产品不断发展，以满足相关场景和需求。但是，如果SOAR要成为SOC平台的一个能力组件，它可以是原生的，也可以是集成的，松耦合的。SaaS SIEM & Cloud SIEM 之前反复提到过，现在提到SIEM，就不得不提到SIEM的新交付模式：SaaS SIEM。根据 Gartner 的定义，SaaS SIEM 等同于 Cloud SIEM。云端 SIEM 部署在云端。SIEM 供应商负责部署、维护、升级和数据存储。用户只需要使用(采集数据、分析、响应处理、编写安全内容等即可。) 一种 SIEM 交付模型。Cloud SIEM分为cloud-native SIEM和cloud-hosted SIEM。但要注意：用户从CIPS（Cloud Infrastructure and Platform Services）提供商处租用IaaS，自行部署SIEM，自行使用SIEM，不属于Cloud SIEM。这种模式仅供用户将SIEM部署到云端，Gartner称之为Cloud DIY。考察的是SIEM是否支持云部署，支持多少云部署能力，这是云部署的问题。如下图所示，展示了云原生SIEM、云托管SIEM和部署在用户自有云中的SIEM的区别：用户从CIPS（Cloud Infrastructure and Platform Services）提供商处租用IaaS，自行部署SIEM，自行使用SIEM，不属于Cloud SIEM。这种模式仅供用户将SIEM部署到云端，Gartner称之为Cloud DIY。考察的是SIEM是否支持云部署，支持多少云部署能力，这是云部署的问题。如下图所示，展示了云原生SIEM、云托管SIEM和部署在用户自有云中的SIEM的区别：用户从CIPS（Cloud Infrastructure and Platform Services）提供商处租用IaaS，自行部署SIEM，自行使用SIEM，不属于Cloud SIEM。这种模式仅供用户将SIEM部署到云端，Gartner称之为Cloud DIY。考察的是SIEM是否支持云部署，支持多少云部署能力，这是云部署的问题。如下图所示，展示了云原生SIEM、云托管SIEM和部署在用户自有云中的SIEM的区别：以及支持多少种云部署能力，这是云部署的问题。如下图所示，展示了云原生SIEM、云托管SIEM和部署在用户自有云中的SIEM的区别：以及支持多少种云部署能力，这是云部署的问题。如下图所示，展示了云原生SIEM、云托管SIEM和部署在用户自有云中的SIEM的区别：

　　例如，Microsoft 的 Azure Sentinel 是一种云原生 SIEM。深蓝色方框是微软，红色方框也是微软。Sentinel 在 Azure 上运行，用户购买服务。Sentinel采用多租户采集用户云端（通常也在Azure上）各种系统的日志，统一存储，统一分析，但采集策略、分析规则、运行和配置由用户负责用户。最后，除了前面提到的 Cloud SIEM 和 SIEM 云部署之*敏*感*词*。SIEM 的主要功能

　　在另一份分析SIEM厂商关键能力的Gartner报告中，列出了今年调查的9项关键能力： 与上一轮调研相比，关键指标的选择发生了变化。添加了“编排和自动化”、“互补技术”，并删除了“取证和威胁搜寻”以及“云就绪”。进一步分析，“云就绪”被集成到部署架构中。取证和威胁搜寻已集成到事件响应和管理中的搜索功能中。也就是说，今年考察的内容只比去年多了很多，特别关注SOAR能力和集成能力。市场分析 回到 Gartner 的这份 MQ 报告。

　　据 Garnter 称，SIEM 市场已从 2019 年的 35.5 亿美元增长到 2020 年的 35.8 亿美元。威胁管理（特别是威胁检测和响应）仍然是主要驱动力，一般监控和合规性管理次之。目前SIEM主要未满足的需求在于能否有效检测和响应针对性攻击和泄密。据 Gartner 称，威胁情报、行为建模和分析的有效使用可以提高检测成功率。SIEM 供应商继续增加对行为分析功能的本地支持，以及与第三方技术的集成，Gartner 客户对开发基于行为的用例越来越感兴趣。尽管 SIEM 技术市场有许多老牌供应商，不断涌入旨在与他们竞争的新供应商。因此，SIEM 供应商格局保持动态，老牌供应商和新进入者提供基于云的 SaaS 产品并添加或扩展高级分析以帮助识别威胁和确定威胁的优先级。SIEM 供应商通过本机功能或与第三方 SOAR 解决方案的集成不断改进他们的调查和响应能力。写在最后 SIEM 供应商通过本机功能或与第三方 SOAR 解决方案的集成不断改进他们的调查和响应能力。写在最后 SIEM 供应商通过本机功能或与第三方 SOAR 解决方案的集成不断改进他们的调查和响应能力。写在最后

　　国际化仍然是Gartner在评估SIEM市场时重点关注的指标。对于今年的准入标准，供应商必须在截至 2020 年 9 月 30 日的 12 个月内拥有超过 5000 万美元的 SIEM 收入（高于上次的 3200 万美元）。在 2019 年 10 月 1 日至 2020 年 9 月 30 日期间，供应商必须从其总部区域以外获得 15% 的 SIEM 产品/SaaS 收入，并且至少有 15 个最终用户（上次为 10 个）。地区分为：北美、欧洲、中东和非洲 (EMEA)、亚太地区、拉丁美洲。显然，门槛进一步提高了。如果按最低5000万美元计算，海外收入至少要有750万美元。笔者认为，在这样的情况下，国产厂商可能很难被选中。然而，令人意外的是，还有两家中国厂商入选。笔者在SOC平台领域从事了20年，一直并将继续看好这个领域，也会在这个领域继续深耕，因为能做的事情太多，还有太多尚未满足的需求。来吧！

　　【参考】