该“插座式”架构以规则为核心，数据管理、调度管理、队列管理、服务管理、流程管理等核心部件共同作为数据交换平台的支撑。该架构管理数据服务的全生命周期，支持可视化的配置数据服务和资源、支持数据服务和资源的运行管理、支持数据服务和资源的运行管理和监控，同时还支持数据的转换处理。

该架构提供统一接口，方便各种数据交换加工服务或组件、异构数据源、配置和监控组件作为“插件”插入到运行架构上，统一接口主要包括：

统一处理接口，包括服务接口和数据加工处理接口。

• 服务接口，方便各种处理服务可以作为“插件”插入
• 数据处理接口，方便各种类型的数据加工处理作为“插件”插入，包括数据转换处理、数据逻辑判断、数据质量检查等

统一数据接口，方便各种类型的数据源/目的作为“插件”插入，包括：

• 文件读写接口，不同类型的文件实现该读入和写出接口，支持文本文件、Excel文件、dbf文件、XML等其他文件
• 数据库的操作接口，不同类型的数据库实现该接口，支持Oracle、DB2、SQL Server、MySQL、Sybase ASE、SybaseIQ、Informix等数据库
• 提供应用系统适配器接口，通过调用其它系统的API建立和应用系统的连接调用。
• 消息队列的数据绑定接口，任何支持JMS的消息中间件都可以作为信息整合产品的数据源或目标。消息流等不同格式数据来源可以作为插件“插入”
• 字符集的无关性，支持异构系统下的字符集的转换

统一配置界面接口，不同的处理配置交互界面可以作为插件“插入”。支持连接配置界面、服务配置界面、变量和规则配置界面、流程配置界面、转换方法配置界面等的扩展

统一运行管理监控接口，方便各种处理运行时信息的查看、运行后处理结果的审计等，方便运行管理监控的扩展。

基于统一插座式架构，对于用户也具有如下好处：

• 保护用户的投资，便于用户扩展。基于同一个架构和接口标准，数据整合产品可以应用在数据交换、数据同步、数据合并、数据整合、历史数据迁移、数据仓库建设、虚拟库等领域。
• 提供统一的规则库，便于用户处理规则的统一和标准化。用户定义的规则可以“按需装配”使用，便于业务知识重用。
• 提供统一的管理工具，用户在同一个界面内可以完成、配置、部署、管理监控，极大地提高了用户的工作效率，方便其维护和管理。

提供易用的数据交换和加工服务。服务是完成特定业务的功能单元，由服务实现类和服务模型组成。具有可管理、松耦合、可重用、能安全授权的特点。每个服务都有独有的服务标识和服务模型，不仅可以被内部系统调用，也可以被外部系统集成使用。 服务模型是服务运行的指令，服务在运行时是根据模型中的规则来执行的，服务模型根据服务模版通过该类服务的可视化界面来生成。服务模型可以通过XML对外开放。

提供统一的可视化建模工具实现服务模型管理，通过相应服务的可视化操作界面生成相应类型的服务模型。可以根据业务需要创建文件传输、ETL、数据交换和处理、数据质量、安全共享、流程等各类服务，并可以根据需要分类、编码形成服务目录，便于重用、编辑、安全授权等需要，提供服务创建、编辑、删除、部署、查看等功能。

分别描述如下几种服务：

该平台提供易用的交换及整合服务实现数据库、文件、XML、Web Service、传输队列、适配器、内存表等之间的相互交换，保证数据事务完整性，实现了交换过程中的数据转换、逻辑判断和数据质量的检查。 基于可视化界面通过拖拉、配置完成服务模型的建模。

采用了流加工技术。流加工技术是指在一个数据服务流内实现数据检查、数据清洗、数据比对、数据转换、数据逻辑判断、数据路由、数据异常处理等计算并将计算的结果输出到数据服务的目标中；流加工技术通过优化算法，将数据服务的加工计算在数据管理引擎内一次完成，减轻数据源和目标IO操作和计算压力，大大降低了对数据源和数据目标的影响。

交换及整合服务包括抽取、流加工、数据路由等部分。其中：

抽取条件支持全量抽取、增量数据、SQL语句、动态规则、以及通过API或者接口表等调用方法传来的变量。

流加工处理可以是数据加工处理、数据逻辑检查、数据安全处理、调用服务或者方法等。数据加工处理包括字符串加工、字段赋、时间类转换、比对翻译、数学计算、数组操作、系统信息、变量操作、专用转换、GIS转换等；数据逻辑检查包括：格式检查、范围检查、缺失记录检查、相似重复记录检查、数字检查、专用检查、逻辑表达式检查、复合规则检查等；数据安全处理包括：安全过滤、模糊加密等；调用服务或者方法包括：调用流程/服务、根据逻辑判断调用处理方法。

数据路由包括：干净数据路由、异常数据路由、业务规则路由等

支持在数据交换过程中的数据质量的检查，确保提供干净的可用数据

交换及整合服务实现了数据交换过程中的数据质量检查，包括格式检查、范围检查、缺失记录检查、相似重复记录检查、精度检查、逻辑表达式检查、复合规则检查等。对检查通过的干净数据做做转换和路由处理；对异常数据以文件或者数据库方式存储，传输给数据提供方做相应数据修改检查；也可以形成数据质量分析报告方便考核和检查使用。

交换及整合服务可用于基础数据的统一或者叫主数据的管理，或者叫业务元数据的统一，分布在不同系统下中基础数据是的离散的，在不同的系统中编码、分类等不同，数据交换和整合服务提供比对翻译、数据质量检查、逻辑路由、校对、转换、逻辑处理等功能，可以实现基础数据的统一，将各个系统中的基础数据统一、完善和关联。

基础数据统一后方便实现离散的业务数据的统一和规范。

提供核心技术满足复杂网络情况下的可靠传输需要

• 提供动态智能路由技术
• 面向过程的可靠性数据传输机制
• 高传输数据量和带宽利用率

支持基于通道的数据加工和传输服务一体化处理

定义通道→异构数据经转换、清洗等处理输出到通道→由传输平台将数据传输到接收方→进入到目标系统中。

支持基于文件的内容加工和传输服务

提供内置的文件传输服务实现文件传输的安全可管理的传输。异构数据经转换、清洗等处理输出到通道→文件的推送处理→接收方文件处理并装载到目标

提供易用的文件传输服务，用于保障数据文件传输的可靠性、可管理性、安全性。文件传输支持变化文件传输、文件夹传输、可定义传输数据块大小、传输线程并发数、可选择文件传输加密方法、压缩传输，支持同步、异步传输方式。

提供易用的服务实现和外部系统的交换和集成：JMS集成、外部文件传输集成服务（HTTP文件传输服务、FTP文件传输服务、SFTP文件传输、HADOOP文件传输）。

支持“物理隔离”下的数据交换

提供全生命周期的文件处理服务。主要包括如下：

提供交换及整合服务实现数据库表、业务系统、XML、文件等到文件的格式转换、过滤、映射处理。

提供传输服务实现文件（夹）的可靠传输、变化文件传输、压缩、加密传输等。

提供交换及整合服务、Shell调用服务实现文件到数据库、业务系统等集成；提供FTP服务实现和外部系统的集成；提供文件分类调用服务实现文件分类调用。

提供备份归档处理，满足文件在传输、集成加工过程中的归档，文件按日期、业务分类等归档，便于后期的查询、还原使用

提供流程、服务代理、前后处理等，实现了围绕文件的服务的整合，满足文件生成、传输、加工、集成、归档、清理等一体化需求，达到了不同传输节点之间的实时处理联动。

平台提供强的数据文件加工能力

该平台支持多种类型的数据文档，包括：分隔符文件（支持组合分隔符）、定长文本文件、dbf文件、excel文件，还提供了具有安全特点的专有数据文件类型，用于存储各种数据库表（如Oracle、SQL server、DB2、MySQL等）不同类型字段（如blob、Clob、日期、数字、字符串等）的数据

提供数据输出到文件服务，实现将数据库表中数据按条件归档导入到文件中，文件名称可以根据规则动态生成，如含有系统时间或者含有变量的值

提供文件处理服务，实现将归档的数据文件按需导入到异构系统中，文件名称可以是变量传来的值。

提供文件分类处理服务，对给定文件夹下的文件做分类处理，根据文件名称规则不同，将满足规则的文件名作为变量传递文件导入服务，并调用配置的文档导入服务处理。该服务是可视化配置实现

提供文件清理服务，设定规则将给定时间之前的文档压缩或删除等清理处理

该平台提供同步服务实现数据库、文件等的同步

提供表复制服务，实现多数据库、多表到目标库表的复制，支持全量和增量复制方式

提供基于文件的数据同步服务，能监控文件夹，将变化文件同步到目标方。可视化配置同步文件策略、传输方式等。

经过配置的各数据加工处理服务，通过鼠标拖拽生成流程，可视化图形配置数据交换服务和组件的运行流程。流程本身也可以作为另一个流程的处理节点，方便实现流程的嵌套。

流程处理支持并行处理、顺序执行、条件处理、意外处理等处理策略。

并行处理是指多个处理任务可以放到一个并行组中，组中的所有任务处理完成后再调用流程的下一个节点执行，并行处理既可以让组中的所有的任务并行运行，也可以根据硬件、网络等情况指定处理并发数。

意外处理是指运行过程中出现意外时的相应处理策略，可以选择意外时终止流程运行，也可以选择意外时下次运行从断点处续运行，也可以选择意外时做补偿处理，也可以选择指定循环运行该节点的次数等。

服务提供方做服务资源的编目，注册到目录中心；中心做服务资源的审核、维护，并将共享的服务发布出去；服务使用方查询到服务后，向中心申请使用该服务；中心审核审批通过后给申请用户授权该服务的使用；服务使用方通过安全可管理的服务总线调用该服务，实现提供方和使用方的数据交换和共享

提供安全可管理的服务总线，方便自主创新的使用服务

• 将配置好的服务分级授权给不同的部门、用户，用户包括管理角色、开发角色、查询角色、使用角色等。业务系统是具有使用角色的用户
• 安全可管理的数据服务总线作为数据服务使用入口，当用户访问数据服务时，服务总线将做用户的身份鉴定，通过后检查其访问权限，都通过后，才能使用该数据服务
• 通过访问数据服务屏蔽数据源，实现共享数据的安全授权，可以到表、字段、记录级的安全控制

如下是通过服务总线使用服务时的内部 SOAP XML样子

• 包括了调用的用户信息（包括用户名和密码）、服务信息（提供者标识、服务类型、服务标识、服务业务句柄）
• 如果有报文、XML等输入数据时，包括了服务输入信息（类型：XML、String、RowsSet等）
• 如果是查询服务时，还包括了查询条件（变量名、查询条件）、返回值类型（ XML、String、RowsSet等）

通过安全可管理的数据服务总线，可以采用多种方式服务调度使用服务或者流程，包括：

• 菜单交互
• 定时
• 接口文件文件
• 接口表
• 消息队列
• 服务代理
• 流程
• 前处理（发送方、接收方、服务）
• 后处理（发送方、接收方、服务）
• shell
• API
• Web
• 其他事件

提供全面的安全管理，主要分为以下六层

1、安全的运行支撑

a) 提供节点管理，创建节点运行环境，

b) 在节点启动和运行中安全检测证书

2、安全传输

a) 节点之间通讯时证书的认证、传输过程中的安全加密

b) 安全传输通道

c) 安全文件传输

3、安全的数据访问服务

a) 提供数据服务共享数据，不是直接访问数据源，保护数据源（如数据库、文件等）安全

b) 可视化配置数据服务，包括数据源的选择、字段选择、映射、查询条件、字段模糊处理等

4、安全可管理的服务总线

a) 提供身份鉴定和访问控制

b) 通过Web Service方式、API方式、事件等方式使用数据服务时，其访问情况将由安全授权来决定

5、用户管理和分级授权

• 权限组管理，满足不同单位、不同部门的授权需要，由上级组权限定义子组权限范围
• 用户管理：管理员、业务使用者（开发者、使用者）、审计人员等多种权限级别的用户管理
• 分项授权，对运行引擎、数据库连接、交换服务、传输服务、加工服务、流程等分项授权
• 权限包括权限包括开发者、执行权、查询者
• 满足系统级、数据库级、软件功能级、记录级和字段级等多级别的安全控制需要

6、安全的管理和监控

提供完整的审计功能：

• 用户管理审计，对增加或修改权限组、用户的权限操作审计
• 登录审计，审计用户登录、失败次数、登录过程
• 模型配置审计，审计数据库等资源、交换等服务模型定义、项目模型等定义操作
• 使用审计，审计对资源、服务、流程等部署、使用
• 运行审计，查看使用者、运行列表、运行过程

如下是平台部署时，相应部署产品模块具有的安全功能。

其中，可视化工具具有用户管理和分级授权、安全的管理和监控功能；管理服务器具有安全的运行支撑功能；中心交换节点具有安全的运行支撑、安全传输、安全的数据访问服务功能；交换节点具有安全的运行支撑、安全传输、安全的数据访问服务功能；服务共享具有安全的运行支撑、安全传输、安全可管理的服务总线功能。

可视化配置的服务数据通过分级授权共享使用

通过安全的运行环境及保证措施保证其安全性，包括：分级授权、身份鉴定、访问控制、数据共享审计、数据安全传输

进而达到数据库表的字段级、记录级的访问控制，共享文件的访问控制

该平台提供分级保护，用户、服务等资源设置密级标识，高密信息不能流向低密级用户，密级与服务、资源关联，通过审批流程和分级授权实现服务和资源的自主创新。

1、将服务和资源分成不同的密级，如绝密、机密、秘密、内部、非密等级别；

2、将用户也分成不同的密级，如高密用户、涉密用户、非涉密用户，

3、将配置好的服务根据密级分级授权给不同密级的用户

4、安全可管理的数据服务总线作为数据服务使用入口，当用户访问数据服务时，服务总线将做用户的身份鉴定，密级比较，通过后检查其访问权限，都通过后，才能使用该数据服务

5、通过访问数据服务屏蔽数据源，实现共享数据的安全授权，既可以做到表、字段、记录级的安全控制，也做到文件级等其他资源的安全控制

产品能满足数据大整合、数据大管理的需要，是全面的、容易生成数据管理解决方案的企业级产品。基于数据整合产品，使 用者通过拖拉等操作可以配置出所需要的数据管理解决方案，打通了数据各个环节，具有数据交换、数据传输、数据同步、ETL、数据质量、数据服务总线等功能。根据项目需要选择不同模块组合，没有集成和“孤岛”。

数据整合产品提供安全可管理的数据服务总线，保证了数据访问安全。以数据服务为单位，保证了数据交换过程中的事务完整性；可视化配置数据服务，并对数据服务全生命周期管理；提供分组管理、用户管理，分级授权和访问控制。满足系统级、数据库级、软件功能级、记录级和字段级等多级别的安全控制需要和数据服务安全使用。

数据整合产品全程保证数据质量，包括全库数据探测检查、交换过程中数据质量、主数据和统一视图数据管理、数据仓库建设等过程中的数据质量等，并能提供数据质量分析报告。

可以根据需要配置形成不同的解决方案，主要包括两大系列：数据交换和共享方案系列和数据管理方案系列

交换和共享方案系列包括：数据中心数据交换（DataHub）、分布数据交换、文件传输、云平台下数据交换、安全可管理数据服务总线DSP、数据同步等

数据管理方案系列包括：ETL方案、数据质量方案、主数据管理、基于数据的业务监控、数据归档管理等

基于统一平台、统一规则、统一工具、形成完整方案，对已有的系统、改造的系统、新建的系统、外部系统提供统一支撑和管理。