English
购物车图片 购物车 ( )
最专业的品牌服务,为您创造更高的价值

达梦大规模并行处理集群MPP技术白皮书

犀牛云 2019-01-17
浏览次数:

目录

 

1 达梦大规模并行处理集群

1.1 概述

1.2 MPP架构特性

1.2.1 MPP架构

1.2.2 MPP架构先进性

1.2.3 数据分布

1.2.4 高速邮件通信系统

1.2.5 多级并行技术

1.2.6 复杂查询支持

1.2.6 高可用

1.2.8 扩容性

1.2.9 管理与监控

1.2.10 并行高速数据加载

1.2.11 同样可适用于OLTP业务



1 达梦大规模并行处理集群

1.1 概述

达梦数据库管理系统是达梦公司推出的具有完全自主知识产权的高性能数据库管理系统,简称DM。达梦数据库管理系统7版本,简称DM7。

DM7是达梦数据库有限公司推出的具有完全自主知识产权的大型通用关系型数据库管理系统,是达梦公司在总结DM系列产品研发与应用经验的基础之上,吸收主流数据库产品的优点,采用类JAVA的虚拟机技术设计的新一代数据库产品。

达梦大规模并行处理集群组件(DM Massively Paralleling Processing Cluster Component,缩写DMMPP)是基于达梦数据库管理系统研发的完全对等无共享式的并行集群组件,支持将多个DM7节点组织为一个并行计算网络,对外提供统一的数据库服务。

在海量数据分析的应用场景中,经常会遇到以下问题:

  1. 大量的读操作需要较高的系统性能支撑;

  2. 数据库响应能力受到硬件的束缚;

  3. 小型机虽然能在垂直领域提供较好单个节点的性能,但是价格较高;

  4. 想防止单点故障的影响。

为了支持上述海量数据存储和处理、高并发处理、高性价比、高可用性等方面的需求,提供高端数据仓库解决方案,达梦数据库提供了大规模并行处理(MPP 架构,以极低的成本代价,为客户提供业界领先的计算性能。

DMMPP采用完全对等无共享架构,最多可支持1024个节点,支持TB到PB级的数据存储与分析,并提供高可用性和动态扩展能力,是超大型数据应用的高性价比通用解决方案。


1.2 MPP架构特性

  1.2.1 MPP架构

DMMPP通过分布负载到多个数据库服务器主机,实现存储和处理大规模的数据。采用完全对等的无共享架构,每个数据库服务器称为一个EP,每个EP都是独立的数据库。该架构中各个EP节点的功能完全一样,用户可连接DMMPP系统内的任意一个EP节点进行数据操作。

达梦大规模并行处理集群MPP技术白皮书

图1 DMMPP系统架构示意图


1.2.2 MPP架构先进性

当前的数据仓库解决方案通常是借助通用数据库或基于硬件的专用平台而创建,主流架构有如下几种。

达梦大规模并行处理集群MPP技术白皮书

图2 主流架构示意图

DMMPP的完全对等无共享体系架构结合了完全无共享体系的优点,在此基础上又前进了一步,通过软件提升处理能力,它不需要价格昂贵的专用硬件,也不采用增加主控制节点来协调所有并行处理的主从式方法,而是各个节点完全对等,更进一步简化了体系的实现,也消除了系统可能存在的主节点瓶颈问题。各主流架构特点比较如下。

 

架构名称

特点

完全共享

局限于单节点服务器,价格昂贵,扩展性差。

共享磁盘

允许多个服务器实例共享存储设备,有效均衡单实例负载,具有一定的扩展性,节点规模扩大时,对I/O、锁资源等的竞争加剧,可能导致性能的下降。

硬件成本昂贵。

完全不共享

部署在高速网络,各节点相对独立,无共享I/O,扩展性和性能良好,

缺点是此类架构的系统基于专用硬件,价格昂贵,成本高;存在主控节点,系统规模扩大时可能成为系统瓶颈。

完全对等不共享

继承了完全不共享架构的优点,且各节点完全对等,不需要专用硬件,

不存在主控节点,消除了潜在瓶颈以及单节点故障问题。

表1 主流架构特点比较


1.2.3 数据分布

DMMPP支持多种数据分布,包括HASH分布、范围分布和随机分布;支持表的水平分区、垂直分区和多级混合分区,并提供了数据分布和数据分区的组合支持,提供了极高的灵活性。

达梦大规模并行处理集群MPP技术白皮书

图3  数据分布示意图


1.2.4 高速邮件通信系统

DMMPP各节点之间的消息通信和数据移动都是通过嵌入在DM数据库系统内部的MAL通信系统完成,MAL系统负责在执行查询计划的过程中在协调任务相关的节点之间高效驱动数据流,完成发送消息、移动数据、收集操作结果等功能。

每个消息相当于一封邮件投递到对应的邮箱中,一旦收到信件,立刻通知系统从邮箱中取出信件,对信件进行处理,完成数据的整合。这种高效的通信机制有利于提高并行查询的效率,充分发挥高速网络的优势。


1.2.5 多级并行技术

DMMPP的并行执行计划在各个EP上并行执行的同时,单个EP上的计划执行还可利用DM7的并行查询特性,实现节点间并行与节点内并行的完美结合。


1.2.6 复杂查询支持

DMMPP系统内每个站点只负责自身部分数据的读写,执行计划是完全并行执行的,完全无I/O冲突,充分利用硬件资源,只是额外增加了数据在节点间移动的通信时间,在高速局域网内,通信时间大大缩短,更能体现大规模并行处理的优势,随着系统规模的扩大,并行支路越多,优势越明显。

用户登录DMMPP的任意一个节点,此时这个节点对于用户来说就是主EP,主EP接受用户的SQL请求并生成并行执行计划,将此计划打包分发给各从EP并行执行,并将所有EP的执行结果汇总后返回给用户。

达梦大规模并行处理集群MPP技术白皮书

图4  数据收集与分发过程主从EP示意图

DMMPP优化器生成的是扁平的并行执行计划,仅比单节点的执行计划增加了节点间通讯操作。各EP之间使用DM7高速邮件系统形成网状连接,多条通信链路并行,并使用流式数据处理,能充分发挥以太网交换机的性能。

DMMPP的扁平并行执行计划和高速邮件系统,使得DMMPP能充分利用单节点的各种查询优化技术,并在节点间高速传递计划和中间执行结果,提供了强大的复杂查询支持能力。

达梦大规模并行处理集群MPP技术白皮书

图5  复杂查询支持


1.2.6 高可用

DMMPP与DM7数据守护高级功能的结合使用,可为每个EP配置交叉数据守护,提供数据镜像保护功能,支持在线冗余。

达梦大规模并行处理集群MPP技术白皮书

图6  节点交叉数据守护方案

配置了交叉数据守护的DMMPP即使出现单机故障,也不会影响整个系统的正常运行。一旦主机出现故障,对应备机会自动切换为主机继续提供服务。


1.2.7 扩容性

DMMPP集群支持节点在线添加技术,无需停机操作,保障数据在重分布的过程中做到数据的可读可写。


1.2.8 管理与监控

达梦大规模并行处理集群MPP技术白皮书

图7  性能监视工具- DMMPP监控

DM7提供了图形界面性能监控工具,可以监控DMMPP的站点分布、数据分布、消息分发等,并能对DMMPP系统中各节点运行时的线程、会话、事务、SQL、内存等情况进行统计分析,并用直观的数据表或图表方式进行展现。

 

达梦大规模并行处理集群MPP技术白皮书

图8  性能监视工具-数据分布


1.2.9 并行高速数据加载

DMMPP的快速数据装载工具DMFLDR为DMMPP提供并行高速数据装载支持,用户只要登录DMMPP的任意一个EP就可以进行数据装载,无需额外的数据分发服务器。DMFLDR为DMMPP提供了本地加载、客户端分发和服务器端分发三种数据加载模式,用户可根据实际情况选择适用的装载模式。

达梦大规模并行处理集群MPP技术白皮书

图9  并行高速数据加载示意图


1.2.10 同样可适用于OLTP业务

通过前面的叙述,想必大家对于DMMPP在OLAP应用中的优越性有了充分的了解,那DMMPP是不是只适用于OLAP业务呢?答案显然是否定的。

一个集团公司,总公司为省级,下属有各个地市的分公司。总公司员工要读写访问整个集团的数据,各个分公司员工则只需要读写访问自己分公司的数据,另有分公司的客户需要查询一些分公司数据。这是当前大型集团企业的典型应用场景。

达梦大规模并行处理集群MPP技术白皮书

图10  大型集团企业的典型应用场景

可以使用DMMPP搭建如上图的集群架构。

•集团员工以集接入方式访问省级数据库服务器 DMMPP集群,对集群数据进行读写操作;

•分公司员工以本地方式接入DMMPP集群中本分公司对应的EP,进行读写操作;

•每个分公司数据通过DM7数据守护配置备机,公司客户登录备机可进行数据查询。

通过上述数据部署,实现了读写操作分离、系统负载均衡,同时数据守护还为系统提供了可靠性保障。

 




  • 相关产品 More
  • 点击次数:
    2017 - 09 - 06
    达梦大规模并行处理集群组件(DMMPP)是基于达梦数据库管理系统研发的完全对等无共享式的并行集群组件,支持将多个DM7节点组织为一个并行计算网络,对外提供统一的数据库服务,最多可支持1024个节点,支持TB到PB级的数据存储与分析,并提供高可用性和动态扩展能力,是超大型数据应用的高性价比通用解决方案。DMMPP通过分布负载到多个数据库服务器主机,实现存储和处理大规模的数据。采用完全对等的无共享架构,每个数据库服务器称为一个EP,每个EP都是独立的数据库。该架构中各个EP节点的功能完全一样,用户可连接DMMPP系统内的任意一个EP节点进行数据操作。 产品特点1、系统架构先进性完全对等无共享体系架构结合了完全无共享体系的优点,各个节点完全对等,更进一步简化了体系的实现,也消除了系统可能存在的主节点瓶颈问题。2、可扩展性支持在线扩展节点、在线动态数据重分布等特性,最大支持1024节点3、灵活性支持多种数据分布,包括HASH分布、范围分布和随机分布;支持表的水平分区、垂直分区和多级混合分区,并提供了数据分布和数据分区的组合支持,提供了极高的灵活性。4、高性能支持复杂查询支持多级并行技术并行高速数据加载5、高可用DMMPP与DM7数据守护高级功能的结合使用,可为每个EP配置交叉数据守护,提供数据镜像保护功能。一旦主机出现故障,对应备机会自动切换为主机继续提供服务   达梦大规模并行处理集群组件(DMMPP)技术白皮书
  • 点击次数:
    2019 - 01 - 17
    目录 1 达梦大规模并行处理集群1.1 概述1.2 MPP架构特性1.2.1 MPP架构1.2.2 MPP架构先进性1.2.3 数据分布1.2.4 高速邮件通信系统1.2.5 多级并行技术1.2.6 复杂查询支持1.2.6 高可用1.2.8 扩容性1.2.9 管理与监控1.2.10 并行高速数据加载1.2.11 同样可适用于OLTP业务 1 达梦大规模并行处理集群1.1 概述达梦数据库管理系统是达梦公司推出的具有完全自主知识产权的高性能数据库管理系统,简称DM。达梦数据库管理系统7版本,简称DM7。DM7是达梦数据库有限公司推出的具有完全自主知识产权的大型通用关系型数据库管理系统,是达梦公司在总结DM系列产品研发与应用经验的基础之上,吸收主流数据库产品的优点,采用类JAVA的虚拟机技术设计的新一代数据库产品。达梦大规模并行处理集群组件(DM Massively Paralleling Processing Cluster Component,缩写DMMPP)是基于达梦数据库管理系统研发的完全对等无共享式的并行集群组件,支持将多个DM7节点组织为一个并行计算网络,对外提供统一的数据库服务。在海量数据分析的应用场景中,经常会遇到以下问题:大量的读操作需要较高的系统性能支撑;数据库响应能力受到硬件的束缚;小型机虽然能在垂直领域提供较好单个节点的性能,但是价格较高;想防止单点故障的影响。为了支持上述海量数据存储和处理、高并发处理、高性价比、高可用性等方面的需求,提供高端数据仓库解决方案,达梦数据库提供了大规模并行处理(MPP 架构,以极低的成本代价,为客户提供业界领先的计算性能。DMMPP采用完全对等无共享架构,最多可支持1024个节点,支持TB到PB级的数据存储与分析,并提供高可用性和动态扩展能力,是超大型数据应用的高性价比通用解决方案。1.2 MPP架构特性...
官网微信公众号官方微信公众号
官方技术咨询群官方技术咨询群
支持:dmtech@dameng.com
地址:中国·武汉·东湖新技术开发区高新大道999号未来科技大厦C3栋16-19层
咨询热线:400 991 6599
传真:+86 0755-2788 8009
友情链接:
鄂Copyright ©2017 - 2018 武汉达梦数据库有限公司
犀牛云提供企业云服务
X
3

SKYPE 设置

4

阿里旺旺设置

等待加载动态数据...

等待加载动态数据...

5

电话号码管理

6

二维码管理

等待加载动态数据...

等待加载动态数据...

展开