智能采集平台(企业实施商务智能项目时，数据采集和集成的问题)

　　智能采集平台(企业实施商务智能项目时，数据采集和集成的问题)

　　数据采集商业智能架构中的平台总结数据采集和集成是企业实施商业智能项目时经常遇到的问题。在商业智能系统架构中增加一层数据采集平台，作为核心业务应用复合系统架构中的重要补充源，解决企业快速从外部源获取数据的问题，保证企业的完整性数据资产和充分的信息有效性，达到商业智能支持企业决策的要求。关键词数据采集; 商业智能；系统架构关于商业智能现代信息技术，如支持系统（DSS）采集，组织和分析业务运营过程中产生的大量结构化和非结构化业务数据和信息，以协助企业做出决策，采取有效的战术行动，优化业务流程，工具、方法和技术的总称。全面提升企业绩效。借助商业智能，企业可以在市场瞬息万变、竞争更加激烈、组织结构复杂、企业规模迅速扩大的商业环境中保持高效运营、做出正确决策、快速响应扩大。从信息到知识，从知识到利润的转变。BI 数据采集 问题数据采集 和集成是实施 BI 项目的公司经常遇到的问题。由于实施过程一般是分阶段、梯度进行的，企业BI总是要面对业务流程随着市场环境的变化而不断变化的现状，系统架构总是处于不断补充和扩展的过程中。 .

　　随着企业内部信息化的历史变迁，从部门级应用，到各公司独立应用，再到企业集成应用，企业使用不同厂家、不同版本的各种管理软件。如果说这种系统的应用广度已经让人头疼，更让人头疼的是集团企业各种信息系统的集成。比如从数据集成到应用系统集成，再到集团企业面临的人员集成、信息集成、流程集成、应用平台集成等，涉及的越来越多，集成的重点也在转移。从技术到业务系统。. 同时，行业市场的激烈竞争迫使企业在逐步整合和集中应用系统的过程中同时进行*敏*感*词*的全企业数据整合，并将BI作为企业战略的重要支撑。那么企业BI就要率先解决数据驱动的根本问题，即解决数据获取、转换和集成的问题。数据采集平台补充BI架构 目前，全球各大软件厂商提供的BI解决方案均使用业务应用的可操作关系数据库作为BI数据仓库或市场的ETL数据源。该解决方案旨在将业务流程和操作与业务分析和查询分开，并且每个角色的应用程序组合都结构良好。因此，市场上的大多数BI产品只对数据仓库、市场或OLAP进行单向提取和表示操作，即“只读”操作。表示层不提供大而频繁的数据写入操作。想象一下，一旦BI产品有了数据写入处理，BI的产品定位和架构边界就会变得模糊，而在实际应用中，在匹配业务需求的方案时难免会出现定位混乱。表示层不提供大而频繁的数据写入操作。想象一下，一旦BI产品有了数据写入处理，BI的产品定位和架构边界就会变得模糊，而在实际应用中，在匹配业务需求的方案时难免会出现定位混乱。表示层不提供大而频繁的数据写入操作。想象一下，一旦BI产品有了数据写入处理，BI的产品定位和架构边界就会变得模糊，而在实际应用中，在匹配业务需求的方案时难免会出现定位混乱。

　　即使市面上很少有BI产品具备访问权限可控的“回写、转储”功能，也需要慎重考虑数据仓库或OLAP多维分析的数据更新频率和工作量。启用该功能时重建立方体。事实上，这类BI产品的“写处理”能力是非常有限的。一般只处理单表中的metric或remark字段更新，不具备工作流、规则引擎等基本流程控制功能。作者提出在商业智能架构中增加一层数据采集平台，作为核心业务应用组合架构中的重要补充来源，从而解决企业快速获取非系统数据源或将外部数据源导入系统的问题。为保证企业数据资产的完整性和信息的充分有效性，实现商业智能支持企业决策的要求。数据采集平台解数据采集情况复杂，有多种方式。比较常见的情况是业务应用系统跨越多个数据库，结构化、半结构化和非结构化数据源，以及源文件的手动输入和导入。简单的采集方法可以是网页手动数据录入、条码扫描、自动定时数据提取、修正或补充记录过程等，并最终为数据存储或数据分析提供基础内容。可以看出，无论是什么情况，数据采集都包括数据源的采集、识别、选择和存储，从目标处理到输入输出都是一个复杂的过程。4.1Data采集平台架构商业智能数据采集平台包括业务数据、协同数据、公共资源、公司各级下属单位或部门数据的数据处理采集 。

　　Data采集主要通过data采集适配器、网页在线数据上报、客户端数据上报、后台批量数据导入等方式，快速从生产数据库、文件系统中传输数据采集 转数据，存储在采集 数据库和文件系统中，尽量减少对生产数据库的影响。数据采集平台要求数据准确一致，格式符合BI分析。因此，设计了数据报告和审查的业务流程。系统层次及流程设计如下： 审批层：具体填报人员通过网页在线填报或在客户端填报方式，数据录入填报系统（系统自动将数据标记为状态并写入已提交）。填充层：每个分支结构的reviewer会对系统中的数据进行review（系统中只显示需要review的数据），如果数据符合要求则通过review（系统将flag改为review），否则将被退回（系统会将flag更改为review）。提交）。ETL层：系统通过ETL工具自动将数据写入公司总部采集平台的数据库。ETL流程需要根据业务需求进行专门设计。2）每个下属单元的数据存储分为两级数据存储：每个下属单元都有自己的数据库，它存储在线报告系统数据。总部数据中心：总部采集平台数据库，存储各下属单位的数据。（审计后数据）。3）数据采集内容数据采集平台为数据集成和集成应用提供数据基础，数据采集覆盖整个药企应用系统的业务数据， 采集 数据主要用于为主数据管理和商业智能系统提供数据源。

　　通过data采集平台，可以将公司商业智能分析所需的各种商业分析题目的维度和事实导入到数仓的ODS数据区。4.2Data采集平台的四种采集方法1）Data采集Adapter Data采集Adapter使用WebService提供服务，并自动将采集各级数据中心的应用系统数据源读取中间临时数据集，然后将数据集中的变化数据写入采集的平台数据库。适配器模式data采集流程如下：适配器客户端发起连接请求；服务器响应并通过 SSL 与它建立连接；适配器客户端发送数据；服务器接收数据，收到后返回接收状态；service 终端识别数据类型和数据格式标签，根据类型和格式标签从规则引擎获取数据处理规则，验证采集接收到的数据内容；将验证信息存储在信息反馈库中，验证通过的数据被加载到采集数据库库中，验证失败的缺陷信息被发送到信息反馈库中，加载过程为不执行。2）网页在线数据填写和上报网页数据采集是一种用于架构部署的手动在线填写方式。文本信息以HTML表单的形式填写，ExcelXML文件以附件的形式上传并导入数据库。审批流程控制和工作流服务由WebService提供，数据校验规则在浏览器中实现，复杂的数据计算规则在数据库后台批处理中实现。数据填写采集流程如下：用户登录网页填写在线报表页面；根据模板填写数据，提交数据；服务器识别数据类型和数据格式标记，根据类型和格式标记从规则引擎获取数据处理规则验证采集接收到的数据内容；将验证信息存储在信息反馈库中，将验证通过的数据加载到< @采集数据库库，将校验失败的缺陷信息发送到信息反馈库，不进行Load处理。3） 客户端数据上报 数据填报客户端是C/S架构部署在用户终端的数据采集和上报软件工具。客户端data采集流程如下：客户端发起连接请求；服务器响应，验证客户端的用户权限，并通过 SSL 与其建立连接；客户端发送数据；服务器接收数据，并且 客户端数据上报 数据填报客户端是采用C/S架构部署在用户终端的数据采集和上报软件工具。客户端data采集流程如下：客户端发起连接请求；服务器响应，验证客户端的用户权限，并通过 SSL 与其建立连接；客户端发送数据；服务器接收数据，并且 客户端数据上报 数据填报客户端是采用C/S架构部署在用户终端的数据采集和上报软件工具。客户端data采集流程如下：客户端发起连接请求；服务器响应，验证客户端的用户权限，并通过 SSL 与其建立连接；客户端发送数据；服务器接收数据，并且