达梦数据交换平台(DMETL)是达梦公司在十余年数据处理经验的基础上,研制开发的具有自主知识产权的、商品化的数据交换与处理平台。达梦数据交换平台创新地将传统的ETL工具(Extract、Transform、Loading)与分布式消息平台相结合,实现了对数据抽取、传输、整合以及装载的一站式支持,是构建数据中心、数据仓库、数据交换和数据同步等数据集成类应用的理想平台,同时也可以作为数据加工处理工具由业务人员依据个性化需求灵活配置使用。
DMETL已被广泛应用于公安、信用、电力、国土、住建、社保、政法、政务等多个行业的数据中心项目中,为各类数据集成项目建设提供从数据采集、清洗加工、数据质量检测到快速装载的全面支持。
系统采用可扩展的数据源适配器和消息适配器来支持异构数据源的数据交换
支持全量和增量的方式交换数据
支持故障的自主检测和事后恢复
支持数据可靠加密传输,保证数据安全
支持统一监控,能够对多台数据交换服务器和数据源的状态进行监控和统计分析
支持数据分区并行处理
分布式接力式部署,更全面
具有消除双向复制反馈的机制
交换服务器支持统一控制、分布式部署
支持基于消息的接力式部署和数据路由
支持数据流程的断点及调试功能
批量转换生成功能,可根据模板快速生成大量的转换,提升实施部署效率
基于规则的数据清洗转换引擎,可以实现边预览边配置
内置了丰富的数据转换规则,包含简繁体、汉字拼音、乱码处理、字符集转换、中文数字等
支持元数据信息的文档生成
DMETL能够支持DM到Oracle、SQL Server、DB2、MySQL等等主流数据库的数据同步,DMETL的同步一般为表级同步,实时性和大数据量的情况下性能不如DMHS,但在支持的数据源种类,以及数据清洗转换功能上优于DMHS,适合于在同步中还要进行数据清洗转换的应用场景。DMETL可以与DMHS结合使用,实现对源库避免产生过深介入的同时,完成复杂的数据清洗转换业务的效果。
DMETL和DMHS两者都可以实现异构数据的整合,以及数据的清洗转换功能。
DMETL设计重点目标是用于数据中心进行异构数据的整合,因此支持完善、复杂的数据清洗、转换规则,能够支持灵活的2次开发,但对源端的逻辑存储结构产生影响,占用资源较多。
DMHS设计重点目标是支持异构数据库之间的秒级数据同步,是基于源库的联机日志分析捕获,不会对其逻辑存储结构产生影响,占用资源较少,效率更高,而清洗转换规则方面较ETL简单。
达梦提供多种方式供用户将数据从Oracle迁移到达梦,包括:迁移工具DTS、数据交换平台DMETL、异构数据实时同步工具DMHS。
达梦官网www.dameng.com,“数据库产品及解决方案”--“数据库系列”--“达梦数据库管理系统(DM8)”--“试用下载”--“下载中心”--“产品下载”有开发试用安装包,可以免费下载试用。
试用开发包,建议您用于研究学习和了解功能、不要投入生产正式使用,自版本号开始免费试用1年。
安装包解压后有具体的安装教程,您可以对照操作,另外需要提示您,开发的key是内嵌的,您在安装过程中直接跳过即可。