购物车图片 购物车 ( )
最专业的品牌服务,为您创造更高的价值
总体概述 客户评价


【干货分享】在DMETL中如何实现循环逻辑

2018年3月23日


For循环的逻辑,在不同的编程语言中有着不同的写法。在做数据抽取的过程中,我们有时候也需要用到循环,那么在DMETL中如何实现类似功能呢?

本文将介绍DMETL中循环逻辑的实现方法。

我们先给出一个现有案例;

案例如下:

t1表约有6亿条数据,需要使用ETL把数据按月抽取到t2表,表结构如下:

createtable t1(ID int primary key,name varchar(10),opt_time(date));

createtable t2(ID int primary key,name varchar(10),opt_time(date));

t1表数据如下:

【干货分享】在DMETL中如何实现循环逻辑

方法步骤

1. 创建辅助表TAB_MONTH,用来存放月份区段;

CREATETABLE "SYSDBA".TAB_MONTH

(

"ID" INT primary key,

"MONTH_VALUE1" DATE,

"MONTH_VALUE2" DATE,

 cluster primary key("ID"));

值如下:

【干货分享】在DMETL中如何实现循环逻辑

 2. ETL数据源中添加表;                  

【干货分享】在DMETL中如何实现循环逻辑

 

3. 新建关于t1表的参数化SQL查询,作用是查询t1一个月的数据;

 

【干货分享】在DMETL中如何实现循环逻辑

查询参数,这里给出实际值,可以查看格式是否正确

【干货分享】在DMETL中如何实现循环逻辑 

4.新建4个变量month1和month2,用来向sql查询t1_sql传递月份值;i,j用来控制循环取值;初始值都是null;

【干货分享】在DMETL中如何实现循环逻辑

5 . 配置转换流程;

整体转换流程如下:

【干货分享】在DMETL中如何实现循环逻辑

需要注意的是配置sql查询数据源组件,查询参数这项的配置方法,这里使用的了表达式,参数值调用了用户工程的变量;

【干货分享】在DMETL中如何实现循环逻辑

6. 配置作业循环执行体,取值内层,先取参数值,传递给转换执行,执行完成后拨动游标;

【干货分享】在DMETL中如何实现循环逻辑

(1)第一个设置变量的作用是取当前i值对应的月份值;

【干货分享】在DMETL中如何实现循环逻辑

(2)第二个设置变量的作用相当于拨动游标

【干货分享】在DMETL中如何实现循环逻辑

7. 配置作业循环取值;

【干货分享】在DMETL中如何实现循环逻辑

设置变量用来设定i和j的起始值

【干货分享】在DMETL中如何实现循环逻辑

作业循环取值嵌套的是上面配置的作用内层取值;

【干货分享】在DMETL中如何实现循环逻辑

它的循环执行选项配置如下:

【干货分享】在DMETL中如何实现循环逻辑

 小结:

1. etl可实现循环逻辑;

2. sql查询参数化,可使用设置变量赋值;

3. 这里可以对opt_time建立索引进行优化;

4. 如果t1,t2表opt_time字段如果是按范围分区表效率会有不小提升;

5. 对于这样的例子,可以实现表的分段抽取、并行装载,效率提升不小;


客户资料:
年缴保费:
客户需求:


【干货分享】在DMETL中如何实现循环逻辑

2018年3月23日


For循环的逻辑,在不同的编程语言中有着不同的写法。在做数据抽取的过程中,我们有时候也需要用到循环,那么在DMETL中如何实现类似功能呢?

本文将介绍DMETL中循环逻辑的实现方法。

我们先给出一个现有案例;

案例如下:

t1表约有6亿条数据,需要使用ETL把数据按月抽取到t2表,表结构如下:

createtable t1(ID int primary key,name varchar(10),opt_time(date));

createtable t2(ID int primary key,name varchar(10),opt_time(date));

t1表数据如下:

【干货分享】在DMETL中如何实现循环逻辑

方法步骤

1. 创建辅助表TAB_MONTH,用来存放月份区段;

CREATETABLE "SYSDBA".TAB_MONTH

(

"ID" INT primary key,

"MONTH_VALUE1" DATE,

"MONTH_VALUE2" DATE,

 cluster primary key("ID"));

值如下:

【干货分享】在DMETL中如何实现循环逻辑

 2. ETL数据源中添加表;                  

【干货分享】在DMETL中如何实现循环逻辑

 

3. 新建关于t1表的参数化SQL查询,作用是查询t1一个月的数据;

 

【干货分享】在DMETL中如何实现循环逻辑

查询参数,这里给出实际值,可以查看格式是否正确

【干货分享】在DMETL中如何实现循环逻辑 

4.新建4个变量month1和month2,用来向sql查询t1_sql传递月份值;i,j用来控制循环取值;初始值都是null;

【干货分享】在DMETL中如何实现循环逻辑

5 . 配置转换流程;

整体转换流程如下:

【干货分享】在DMETL中如何实现循环逻辑

需要注意的是配置sql查询数据源组件,查询参数这项的配置方法,这里使用的了表达式,参数值调用了用户工程的变量;

【干货分享】在DMETL中如何实现循环逻辑

6. 配置作业循环执行体,取值内层,先取参数值,传递给转换执行,执行完成后拨动游标;

【干货分享】在DMETL中如何实现循环逻辑

(1)第一个设置变量的作用是取当前i值对应的月份值;

【干货分享】在DMETL中如何实现循环逻辑

(2)第二个设置变量的作用相当于拨动游标

【干货分享】在DMETL中如何实现循环逻辑

7. 配置作业循环取值;

【干货分享】在DMETL中如何实现循环逻辑

设置变量用来设定i和j的起始值

【干货分享】在DMETL中如何实现循环逻辑

作业循环取值嵌套的是上面配置的作用内层取值;

【干货分享】在DMETL中如何实现循环逻辑

它的循环执行选项配置如下:

【干货分享】在DMETL中如何实现循环逻辑

 小结:

1. etl可实现循环逻辑;

2. sql查询参数化,可使用设置变量赋值;

3. 这里可以对opt_time建立索引进行优化;

4. 如果t1,t2表opt_time字段如果是按范围分区表效率会有不小提升;

5. 对于这样的例子,可以实现表的分段抽取、并行装载,效率提升不小;


相关案例
2018 - 05 - 15
点击次数: 0
【达梦公开课】DM7数据库安装与配置2018年5月15日
2018 - 05 - 07
点击次数: 0
达梦学院网络课程教学视频第十二期开播啦!时间:2018年5月7日 注意啦!!由达梦学院倾力打造的达梦线上精品教学课程-《达梦数据库管理员课程》第十二期视频开播啦!数据库备份还原1上日常工作环境中可能遇到的故障有哪些?备份与还原的概念及分类?还原与恢复的区别? 本节视频将针对“DM备份还原”V2.0版本的知识进行讲解,让大家了解达梦备份与还原的概念及分类、进行备份还原所使用的工具...
2018 - 04 - 28
点击次数: 0
【干货分享】通过JAVA访问DM快速装载接口2018-4-28 达梦达梦7提供快速装载工具进行数据的批量入库。效率远远高于通用的jdbc或者odbc等接口。同时达梦7中也提供了一组C和JAVA调用方式来方便开发人员在程序中进行批量数据的入库操作。本文主要介绍通过JAVA的JNI接口调用快速装载接口的方法。前提条件:一、工程引用 com.dameng.floader.jar文件二、将dmdbms/b...
2018 - 04 - 17
点击次数: 0
2018 - 04 - 13
点击次数: 0
【干货分享】行列转换在DM7中的两种实现方法2018年4月13日  达梦日常工作中,特别是我们在做数据统计的时候,行转列是我们有可能会遇到的一个需求。在DM7中,我们有多种不同的方式来进行操作,本文将向大家详细介绍。注:本文实验环境的DM7数据库版本为:DMDatabase Server x64 V7.1.6.46-Build(2018.02.08-89107)ENT1.建立试验环境建表...
达梦大数据
达梦数据库
支持:dmtech@dameng.com
地址:中国·武汉·东湖新技术开发区高新大道999号未来科技大厦C3栋16-19层
咨询热线:400 991 6599
传真:+86 0755-2788 8009
友情链接:
鄂Copyright ©2017 - 2018 武汉达梦数据库有限公司
犀牛云提供企业云服务
X
3

SKYPE 设置

4

阿里旺旺设置

等待加载动态数据...

等待加载动态数据...

5

电话号码管理

6

二维码管理

等待加载动态数据...

等待加载动态数据...

展开