购物车图片 购物车 ( )
最专业的品牌服务,为您创造更高的价值
总体概述 客户评价

【干货分享】在DMETL中如何实现循环逻辑


【干货分享】在DMETL中如何实现循环逻辑

2018年3月23日


For循环的逻辑,在不同的编程语言中有着不同的写法。在做数据抽取的过程中,我们有时候也需要用到循环,那么在DMETL中如何实现类似功能呢?

本文将介绍DMETL中循环逻辑的实现方法。

我们先给出一个现有案例;

案例如下:

t1表约有6亿条数据,需要使用ETL把数据按月抽取到t2表,表结构如下:

createtable t1(ID int primary key,name varchar(10),opt_time(date));

createtable t2(ID int primary key,name varchar(10),opt_time(date));

t1表数据如下:

【干货分享】在DMETL中如何实现循环逻辑

方法步骤

1. 创建辅助表TAB_MONTH,用来存放月份区段;

CREATETABLE "SYSDBA".TAB_MONTH

(

"ID" INT primary key,

"MONTH_VALUE1" DATE,

"MONTH_VALUE2" DATE,

 cluster primary key("ID"));

值如下:

【干货分享】在DMETL中如何实现循环逻辑

 2. ETL数据源中添加表;                  

【干货分享】在DMETL中如何实现循环逻辑

 

3. 新建关于t1表的参数化SQL查询,作用是查询t1一个月的数据;

 

【干货分享】在DMETL中如何实现循环逻辑

查询参数,这里给出实际值,可以查看格式是否正确

【干货分享】在DMETL中如何实现循环逻辑 

4.新建4个变量month1和month2,用来向sql查询t1_sql传递月份值;i,j用来控制循环取值;初始值都是null;

【干货分享】在DMETL中如何实现循环逻辑

5 . 配置转换流程;

整体转换流程如下:

【干货分享】在DMETL中如何实现循环逻辑

需要注意的是配置sql查询数据源组件,查询参数这项的配置方法,这里使用的了表达式,参数值调用了用户工程的变量;

【干货分享】在DMETL中如何实现循环逻辑

6. 配置作业循环执行体,取值内层,先取参数值,传递给转换执行,执行完成后拨动游标;

【干货分享】在DMETL中如何实现循环逻辑

(1)第一个设置变量的作用是取当前i值对应的月份值;

【干货分享】在DMETL中如何实现循环逻辑

(2)第二个设置变量的作用相当于拨动游标

【干货分享】在DMETL中如何实现循环逻辑

7. 配置作业循环取值;

【干货分享】在DMETL中如何实现循环逻辑

设置变量用来设定i和j的起始值

【干货分享】在DMETL中如何实现循环逻辑

作业循环取值嵌套的是上面配置的作用内层取值;

【干货分享】在DMETL中如何实现循环逻辑

它的循环执行选项配置如下:

【干货分享】在DMETL中如何实现循环逻辑

 小结:

1. etl可实现循环逻辑;

2. sql查询参数化,可使用设置变量赋值;

3. 这里可以对opt_time建立索引进行优化;

4. 如果t1,t2表opt_time字段如果是按范围分区表效率会有不小提升;

5. 对于这样的例子,可以实现表的分段抽取、并行装载,效率提升不小;


客户资料:
年缴保费:
客户需求:


【干货分享】在DMETL中如何实现循环逻辑

2018年3月23日


For循环的逻辑,在不同的编程语言中有着不同的写法。在做数据抽取的过程中,我们有时候也需要用到循环,那么在DMETL中如何实现类似功能呢?

本文将介绍DMETL中循环逻辑的实现方法。

我们先给出一个现有案例;

案例如下:

t1表约有6亿条数据,需要使用ETL把数据按月抽取到t2表,表结构如下:

createtable t1(ID int primary key,name varchar(10),opt_time(date));

createtable t2(ID int primary key,name varchar(10),opt_time(date));

t1表数据如下:

【干货分享】在DMETL中如何实现循环逻辑

方法步骤

1. 创建辅助表TAB_MONTH,用来存放月份区段;

CREATETABLE "SYSDBA".TAB_MONTH

(

"ID" INT primary key,

"MONTH_VALUE1" DATE,

"MONTH_VALUE2" DATE,

 cluster primary key("ID"));

值如下:

【干货分享】在DMETL中如何实现循环逻辑

 2. ETL数据源中添加表;                  

【干货分享】在DMETL中如何实现循环逻辑

 

3. 新建关于t1表的参数化SQL查询,作用是查询t1一个月的数据;

 

【干货分享】在DMETL中如何实现循环逻辑

查询参数,这里给出实际值,可以查看格式是否正确

【干货分享】在DMETL中如何实现循环逻辑 

4.新建4个变量month1和month2,用来向sql查询t1_sql传递月份值;i,j用来控制循环取值;初始值都是null;

【干货分享】在DMETL中如何实现循环逻辑

5 . 配置转换流程;

整体转换流程如下:

【干货分享】在DMETL中如何实现循环逻辑

需要注意的是配置sql查询数据源组件,查询参数这项的配置方法,这里使用的了表达式,参数值调用了用户工程的变量;

【干货分享】在DMETL中如何实现循环逻辑

6. 配置作业循环执行体,取值内层,先取参数值,传递给转换执行,执行完成后拨动游标;

【干货分享】在DMETL中如何实现循环逻辑

(1)第一个设置变量的作用是取当前i值对应的月份值;

【干货分享】在DMETL中如何实现循环逻辑

(2)第二个设置变量的作用相当于拨动游标

【干货分享】在DMETL中如何实现循环逻辑

7. 配置作业循环取值;

【干货分享】在DMETL中如何实现循环逻辑

设置变量用来设定i和j的起始值

【干货分享】在DMETL中如何实现循环逻辑

作业循环取值嵌套的是上面配置的作用内层取值;

【干货分享】在DMETL中如何实现循环逻辑

它的循环执行选项配置如下:

【干货分享】在DMETL中如何实现循环逻辑

 小结:

1. etl可实现循环逻辑;

2. sql查询参数化,可使用设置变量赋值;

3. 这里可以对opt_time建立索引进行优化;

4. 如果t1,t2表opt_time字段如果是按范围分区表效率会有不小提升;

5. 对于这样的例子,可以实现表的分段抽取、并行装载,效率提升不小;


相关案例
2018 - 06 - 29
点击次数: 0
在数据库的日常使用中,广大DBA们最头疼的就是如何监控数据库的状态,比如实时查看内存使用情况,监控慢SQL等等。利用DMAgent,我们很方便直观的利用网页对数据库进行实时监控,本文就将给大家介绍DMAgent的配置和使用方法。本文演示环境:操作系统: Windows Server 2012 R2 Standard数据库 :DM Database Server x64 V7.1.6.48-Buil...
2018 - 06 - 08
点击次数: 0
【干货分享】Linux下DM7与Python的适配方法1.概述dmPython是DM提供的依据Python DB API version 2.0中API使用规定而开发的数据库访问接口。dmPython 实现这些API,使Python应用程序能够对DM数据库进行访问。dmPytho通过调用DM DPI接口完成python模块扩展。在其使用过程中,除Python标准库以外,还需要DPI的运行环境。本文...
2018 - 06 - 01
点击次数: 0
【干货分享】组合索引在DM7中的使用情况在实际工作中,为了提高表查询的效率,我们会在表上创建各种索引。但是,有时候我们虽然创建了组合索引,查询效率并没有提高,这是为什么呢?本文将带大家一探究竟。 实验背景:1、确认数据库版本:DM Database Server x64V7.1.6.46-Build(2018.02.08-89107)ENT2、创建测试用表并录入测试数据表结构如下并录入1...
2018 - 05 - 30
点击次数: 0
达梦学院数据库认证管理员课程开班预告课程名称DM7-DCA认证课程 课程简介达梦数据库认证管理员(DCA)是管理达梦数据库人员的必备技能,课程包括达梦数据库的安装、建库、模式对象管理、备份等日常维护及SQL语法等等,通过DCA认证,证明您已掌握达梦为企业部署的通用技术,具备创建和维护DM数据库的能力,考试合格者将获得达梦原厂颁发的认证证书。授课时间2018年6月11日至15日授课地点广西...
达梦大数据
达梦数据库
支持:dmtech@dameng.com
地址:中国·武汉·东湖新技术开发区高新大道999号未来科技大厦C3栋16-19层
咨询热线:400 991 6599
传真:+86 0755-2788 8009
友情链接:
鄂Copyright ©2017 - 2018 武汉达梦数据库有限公司
犀牛云提供企业云服务
X
3

SKYPE 设置

4

阿里旺旺设置

等待加载动态数据...

等待加载动态数据...

5

电话号码管理

6

二维码管理

等待加载动态数据...

等待加载动态数据...

展开