外贸智能文章采集系统(商务智能架构中数据采集平台摘要【TP39文献标识码】)

　　外贸智能文章采集系统(商务智能架构中数据采集平台摘要【TP39文献标识码】)

　　商业智能架构中的数据采集平台总结 企业在实施商业智能项目时，数据采集和集成是常见的问题。在商业智能系统架构中增加一层数据采集平台，作为核心业务应用组合系统架构中的重要补充源，解决企业快速从外部获取数据的问题，保证企业数据资产的完整性并充分发挥信息的有效性，实现商业智能支持企业决策的要求。 关键词数据采集；商业智能；系统架构中文图分类编号TP39文档识别码A文章编号1674-6708（2012）73-0218-02 1 关于商业智能，BI）是利用数据仓库（DW）等现代信息技术，数据挖掘（DM）、在线分析处理（OLAP）和决策支持系统（DSS）生成大量结构化和非结构化的业务数据和信息被采集、整理和分析，以帮助企业做出决策，采取有效措施战术行动，优化业务流程，全面改进企业绩效工具、方法和技术。在商业智能的帮助下，公司可以在市场上越来越成功。变化、竞争日趋激烈、组织结构复杂、企业规模快速扩张，将保持高效运营、正确决策、快速反应，从而实现企业从数据到信息、从信息到知识的转变，从知识到利润。 2 商业智能数据采集的问题企业在实施商业智能项目时，数据采集和整合是常见的问题。

　　因为实施过程一般是分阶段和梯度进行的，企业BI总是要面对业务流程随着市场环境趋势不断变化的现状，系统架构总是处于不断补充和扩展的过程中随着企业内部信息化的历史变迁，从部门级应用，到企业自主应用，再到企业集成应用，企业使用不同厂商、不同版本的各种管理软件。如果说这套系统的应用广度让人头疼，更让人头疼的是集团企业中各种信息系统的整合。比如，从数据集成到应用系统集成，再到集团企业面临的人员集成、信息集成、流程集成、应用平台集成等方面，涉及的领域越来越多，集成的重点越来越从技术到业务系统。 同时，行业市场的激烈竞争迫使企业在应用系统逐步整合和集中的过程中同时进行*敏*感*词*的企业级数据整合，并将BI作为企业战略的重要支撑。那么企业BI必然会率先解决数据驱动的基础问题，即解决数据获取、转换、集成的问题。 3 Data采集平台作为商业智能架构的补充 目前，全球各大软件厂商提供的商业智能解决方案，都采用商业应用的操作关系型数据库作为商业智能数据仓库的ETL数据源或市场。该解决方案旨在将业务流程和操作与业务分析和查询分离，应用组合以合理的结构履行职责。因此，市面上大部分BI产品本身只对数据仓库、集市或OLAP进行单向抽取和呈现操作，属于“只读”操作。表示层不提供大而频繁的数据写入操作。

　　想象一下，一旦BI产品有了数据写入处理，BI产品定位和架构边界的划分就会变得模糊，而在实际应用中，在匹配业务需求和解决方案时难免会出现定位混乱。即使市场上有少数具有“回写、转储”功能且访问权限可控的BI产品，也需要仔细考虑数据仓库或OLAP多维分析的数据更新频率和工作量。启用该功能时重建立方体。事实上，这类BI产品的“写处理”能力非常有限，一般只处理单表中的measurement或memo字段更新，不具备工作流、规则引擎等基本的流程控制功能。作者提出在商业智能系统架构中增加一层数据采集平台作为核心业务应用组合架构中的重要补充源，以解决企业快速获取非系统数据源或导入数据的问题从外部资源进入系统。为了保证企业数据资产的完整性和信息的充分有效性，实现了商业智能支持企业决策的需求。 4 Data采集Platform 解决方案 Data采集 情况复杂，方法多样。比较常见的情况是业务应用系统跨越多个数据库、结构化、半结构化、非结构化数据源，手动填写和导入源文件。简单的采集方法可以是在网页上手动录入数据、扫描条码、自动定时数据提取、校正或补充记录等过程，最终为数据存储或数据分析提供基础内容。可以看出，不管是什么情况，数据采集包括数据源的采集、识别、选择和存储。从目标处理到完成输入输出是一个复杂的过程。

　　4.1 数据采集平台架构 数据采集商业智能平台包括采集的业务数据、协同数据、公共资源，以及公司下属各级部门或部门的数据。 data采集主要通过data采集适配器、网页在线数据填充、客户端数据上报、后台批量数据导入等工作，快速从生产数据库、文件系统采集到数据，并存储在采集 数据库和文件系统中，尽量减少对生产数据库的影响。 data采集平台要求数据准确一致，格式符合BI分析。因此，设计了数据上报和审核的业务流程。系统层级及流程设计如下： 审批层：具体申报人员在线填写表格或客户端填写方式，将数据输入到填写系统中（系统自动将数据标记为状态，写入为提交）。上报级别：各分公司审核员会审核系统中的数据（系统中只显示需要审核的数据）。如果数据符合要求，则通过审核（系统将更改标志位进行审核），否则返回（系统将更改标志位）。提交）。 ETL层：系统通过ETL工具自动将数据写入公司总部采集平台的数据库中，ETL流程需要根据业务需求专门设计。 2）数据存储分为两个层次。每个下属单位的数据存储：每个下属单位都有自己的数据库来存储在线报告系统数据。总部数据中心：总部采集平台数据库，存放各下属单位的数据。 （审计后的数据）。

　　3）数据采集内容数据采集平台为数据集成和集成应用提供数据基础。 Data采集涵盖了整个医药企业应用系统的业务数据，采集data主要用于主要数据管理和商业智能系统提供数据源。通过data采集平台，可以将公司商业智能分析所需的各种商业分析题目的维度和事实导入到数据仓库的ODS数据区。 4.2数据采集平台的四种采集方法1）数据采集Adapter Data采集Adapter是一个应用系统，使用Web Service提供服务，在各个层面自动要求采集数据中心 数据源读入中间临时数据集，然后将数据集中变化的数据写入采集platform数据库。 1