联系我们

  • 电话:010-82896709
  • 邮箱:support@extendsoft.com
  • 点击这里给我发消息 点击这里给我发消息在线:

智能数据网关

IETL简介

IETL是盛泽思拓智能数据网关(ExtendSoft IETL,IETL是Intelligent Extraction-Transformation-Loading的缩写)的简称。 ETL为数据提取、转换和加载,也可称作“智能数据网关”,ETL负责将分散的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成,最后加载到目标数据容器中。IETL是盛泽思拓软件在传统的ETL的基础上增强扩展,并进行智能化改造而研发的智能数据网关工具软件。

IETL五大功能

IETL五大功能包括:四大数据处理功能(数据收集、数据分发、数据同步、数据转换)+作业监控。

 

数据收集

在企业实施数据仓库的过程中,如何快速有效的整合分布于企业各处的数据成为企业面临的最大挑战:源系统彼此悬殊,种类多样。如,某些部门使用SQL Server数据库,某些部门使用Oracle数据库,还有一些部门的数据直接存放在文本文件中。现有源系统中数据质量参差不齐,需要花很多时间进行处理。源系统之间普遍缺乏一致性。在不同的源系统中,相同的数据可能会用不同的形式表示。

IETL支持多种数据源接口,内置丰富的数据校验及转换功能,提供超强的数据质量控制能力。简单直观的图形用户操作界面,帮助企业快速构建数据仓库环境,充分提升现有数据的商业价值。

使用IETL进行构建数据仓库和数据中心,企业可获取如下优势:

缩短项目开发实施周期,快速享用新项目提升得价值。

降低项目开发、实施、维护成本,最大化企业投资收益。

提升企业数据质量,充分发挥数据的商业价值。

提供可靠的战略决策制定保证。

数据分发

主数据跨越所有的业务部门,分布在企业各个不同的业务系统中,如企业资源计划 (ERP)、客户关系管理 (CRM)、商业智能 (BI) 系统;遗留系统和大型机系统;合作伙伴和供应商系统。

如果企业要充分挖掘主数据的潜能,需要解决以下问题:

自由访问主数据所在的业务系统

良好的系统性能,便于主数据的批量及实时处理

保持良好的主数据质量

IETL可以帮助企业轻松应对以上问题,通过整合企业现有的业务系统,充分提升主数据商业价值。

丰富的数据源接口,包括各种数据库、Excel以及Web服务等。

支持数据实时抽取、数据同步。

超强的数据质量控制功能,为主数据提供充分的质量保证。

数据同步

IETL支持的数据同步处理机制:

时间戳

源表中存在一个或多个字段(时间戳),其值随着新记录的增加而不断增加,执行数据抽取时,程序通过时间戳对数据进行过滤,抽取结束后,程序记录时间戳信息。

触发器

用户在源数据库中有创建触发器和临时表的权限,触发器捕获新增的数据到临时表中,执行抽取时,程序自动从临时表读取数据。

全表比对

通过逻辑主键逐行比较输入流和目标表记录,输入记录在目标表不存在则插入,记录存在但部分信息不同则更新目标数据,如果目标记录在输入流中不存在则删除目标数据。

通过同步ETL任务与定时机制的结合实现数据同步功能,软件提供灵活的定时机制,时间粒度最小可以设为秒级,通过对同步ETL任务周期性的定时触发,达到对变化数据的实时同步。数据从抽取到装载采用原子事务操作,充分保证了数据的完整性。

ETL以服务的形式运行

机器启动后,无需用户登录操作系统,IETL程序即可自动运行,自动启动计划运行的ETL任务。这一特点使得IETL程序非常适合于无人值守的运行环境,系统意外重启后,ETL任务即可恢复运行。

数据转换

支持几乎所有主流数据接口,如Oracle、Sql Server、DB2、MySql、 PostgreSQL、Access、Dbase、txt、XML、Excel、WebService等。

支持ETL元数据管理功能,采用图形操作界面辅助用户完成数据抽取、转换、装载等规则的设计; 

提供异步ETL过程处理模式,数据抽取、转换及装载过程并行执行,实现数据的高速处理,满足G、T级的数据转换; 

支持各种字段级的映射转换,如类型转换、字段运算、参照转换、字符串处理、字符集转换、空值处理、日期转换、聚集运算、既定取值、字段切分、字段合并等。

作业监控

IETL采用作业调度策略控制任务的运行: 

支持多个作业的并发运行,可以限制最大运行作业数; 

支持作业排队机制,当已运行作业达到最大数时,后续启动作业进入排对等待状态; 

支持作业的优先级设置,多个作业处于排队状态时,优先级高的作业首先进入运行状态; 

支持作业的启动、暂停、恢复运行和停止等控制; 

作业支持定时启动,提供多种定时策略,包括日、周、月、工作日、时、分、秒等,通过对作业定时启动可实现

作业的循环自动运行; 

日志记录作业的执行情况。

如需进一步了解、试用或购买产品,请联系我们:

   北京盛泽思拓软件有限公司

   电话:010-82896709-802/805

   邮件:support@extendsoft.com

   地址:北京市海淀区上地信息路2号国际创业园2号楼16A 100085

 京ICP备12021218号-1 | 京公网安备11010802011775号 Copyright © 2010-2013北京盛泽思拓软件有限公司版权所有