智能采集平台(企业实施商务智能项目时，数据采集和集成是通常遇到的问题)

　　智能采集平台(企业实施商务智能项目时，数据采集和集成是通常遇到的问题)

　　数据采集商业智能架构中的平台总结数据采集和集成是企业实施商业智能项目时经常遇到的问题。在商业智能系统架构中增加一层数据采集平台，作为核心业务应用复合系统架构中的重要补充源，解决企业快速从外部源获取数据的问题，保证企业的完整性数据资产和充足的信息有效性，实现商业智能，支持企业决策关键词data采集；商业智能；系统架构图分类号TP39文档识别码文章No. 1674-6708 (2012） 73-0218-02 商业智能 (BI) 是一种企业管理流程，它使用现代信息技术，如数据仓库 (DW)、数据挖掘 (DM)、在线分析处理 (OLAP) 和决策支持系统 (DSS)。采集、整理、分析过程中产生的大量结构化和非结构化业务数据和信息，以辅助企业决策，采取有效的战术行动，优化业务流程，全面提升企业的整体绩效。工具、方法和技术。借助商业智能，企业可以在市场瞬息万变、竞争日趋激烈的巨大商业环境下，保持高效运营、正确决策和快速反应，复杂的组织结构和企业规模的快速扩张，从而实现商业智能在企业中的落地。在项目过程中，数据采集和集成是经常遇到的问题。由于实施过程一般是分阶段、梯度进行的，企业BI总是要面对业务流程随着市场环境的趋势而不断变化的现状，系统架构总是处于不断扩展的过程中。

　　随着企业内部信息化的历史变迁，从部门级应用，到各公司独立应用，再到企业集成应用，企业使用不同厂家、不同版本的各种管理软件。如果说这种系统的应用广度已经让人头疼，更让人头疼的是集团企业各种信息系统的集成。比如从数据集成到应用系统集成，再到集团企业面临的人员集成、信息集成、流程集成、应用平台集成等，涉及的方面越来越多，集成的重点也在转移。从技术到业务系统。. 同时，行业市场的激烈竞争迫使企业在逐步整合和集中应用系统的过程中同时进行*敏*感*词*的全企业数据整合，BI作为企业战略的重要支撑。那么企业BI就要率先解决数据驱动的根本问题，即解决数据获取、转换和集成的问题。目前，全球各大软件厂商提供的商业智能解决方案均使用商业应用的运营关系数据库作为商业智能数据仓库或市场的ETL数据源。该解决方案旨在将业务流程和运营与业务分析相结合。与查询分开，应用程序组合以合理的结构发挥自己的作用。因此，市场上的大多数BI产品只对数据仓库、市场或OLAP进行单向提取和表示操作，即“只读”操作。表示层不提供大而频繁的数据写入操作。想象一下，一旦BI产品有了数据写入处理，BI的产品定位和架构边界就会变得模糊，而在实际应用中，在匹配业务需求的方案时难免会出现定位混乱。表示层不提供大而频繁的数据写入操作。想象一下，一旦BI产品有了数据写入处理，BI的产品定位和架构边界就会变得模糊，而在实际应用中，在匹配业务需求的方案时难免会出现定位混乱。表示层不提供大而频繁的数据写入操作。想象一下，一旦BI产品有了数据写入处理，BI的产品定位和架构边界就会变得模糊，而在实际应用中，在匹配业务需求的方案时难免会出现定位混乱。

　　虽然市面上有少数BI产品具备“回写、转储”功能，访问权限可控，但还是要慎重考虑数据仓库或OLAP多维分析的数据更新频率和工作量启用该功能时重建立方体。事实上，此类BI产品的“写处理”能力非常有限，一般只处理单表中的metric-type或memo-type字段更新，不具备工作流、规则引擎等基本流程控制功能。作者提出在商业智能架构中增加一层数据采集平台，作为核心业务应用组合架构中的重要补充来源，从而解决企业快速获取非系统数据源或将外部数据源导入系统的问题。为保证企业数据资产的完整性和信息的充分有效性，实现商业智能支持企业决策的要求。数据采集情况复杂，方法很多。比较常见的情况是业务应用系统跨越多个数据库，结构化、半结构化和非结构化数据源，以及源文件的手动输入和导入。简单的采集方式可以是网页人工录入数据、扫描条码、自动定时数据提取、修正或补充记录过程等，最终为数据存储或数据分析提供基础内容。可以看出，无论是什么情况，数据采集都包括数据源的采集、识别、选择和存储，这是一个从目标处理到完成输入输出的复杂过程。4.1Data采集平台架构商业智能数据采集平台包括业务数据、协同数据、公共资源、公司各级下属单位或部门数据的数据处理采集 。

　　Data采集主要通过data采集适配器、网页在线数据上报、客户端数据上报、后台批量数据导入等方式，快速从生产数据库、文件系统中传输数据采集 转数据，存储在采集 数据库和文件系统中，尽量减少对生产数据库的影响。数据采集平台要求数据准确一致，格式符合BI分析。因此，设计了数据报告和审查的业务流程。系统层次及流程设计如下： 审批层：具体填报人员在线或通过网站填报。在客户端填充方法中，数据录入填报系统（系统自动将数据标记为状态并写入已提交）。填充层：每个分支结构的reviewer会对系统中的数据进行review（系统中只显示需要review的数据），如果数据符合要求则通过review（系统将flag改为review），否则将被退回（系统会将flag更改为review）。提交）。ETL层：系统通过ETL工具自动将数据写入公司总部采集平台的数据库。ETL流程需要根据业务需求进行专门设计。各下属单位数据存储：各下属单位有自己的数据库，用于存储网上申报系统数据。总部数据中心：总部采集平台数据库，存储各下属单位的数据。（审计后数据）。数据采集平台为数据集成和集成应用提供数据基础。数据采集涵盖了整个医药企业应用系统的业务数据。采集数据主要为主数据管理和商业智能系统提供数据源。通过data采集平台，可以将公司商业智能分析所需的各种商业分析题目的维度和事实导入到数仓的ODS数据区。4.2个数据采集平台的四种采集模式数据采集