网站内部搜索引擎优化与外部搜索引擎优化的相同点(多数据源异构数据的在线互动式数据分析需求需求)

　　网站内部搜索引擎优化与外部搜索引擎优化的相同点(多数据源异构数据的在线互动式数据分析需求需求)

　　简介：随着数据量的不断增长和大量异构数据的产生，精准数据分析的成本越来越高，获得快速的用户响应时间变得越来越具有挑战性。另一方面，各类分析的需求快速增长，用户对交互式数据分析的需求也越来越强。在大数据规模上，现有的数据分析系统和技术无法有效支持这种交互式数据分析需求。我们注意到，在大多数数据分析应用中，往往不需要准确的结果，高质量的近似分析结果可以满足用户的大部分需求。在此基础上，我们提出了交互式在线数据分析的概念，并提供了有效的交互式在线数据分析技术。我们的核心思想是把大数据变成可以快速分析和整合的小数据，我们将通过一个数据汇总中间键来实现这个目标。我们需要数据汇总中间键来满足可查询性和可连接性两个要求。基于这一原理，我们设计了一套高效的交互式在线数据分析技术，使得用户对于分析任务能够过快地获得近似分析结果，并且近似分析结果的质量随着时间的推移不断提高，直到用户停止分析流程或系统会产生精确的结果。解决方案中最基本的思想之一是生成满足用户查询条件的在线随机样本，并保证这些样本的完全随机独立性，并不断产生越来越多的样本。我们还探索了上述技术在分布式系统中的实现，并设计并实现了一个STORM系统，支持对来自多个数据源的异构数据进行在线交互式数据分析。用户可以快速获得高质量的近似分析结果，还可以实时改变分析条件。