阿里巴巴分布式数据库服务DRDS研发历程

  • 时间:
  • 浏览:1
  • 来源:万人牛牛棋牌_万人牛牛棋牌官网

DRDS的基础原理只是 Sharding,也只是 数据分片。将单机数据库的数据拆分到多个单机数据库上,对外保持逻辑的一致性。后端拆分的数据库为分库,对应的表称为分表,每个分库负责一份数据的读写操作,分散整体访问压力。在系统扩容时,只需水平增加分库数量,并迁移相关数据,即可提高DRDS系统总体容量。

第三步,业务听写几分钟,读写的流量切换到目标库,数据反向基因重组到源单机数据库,保证随时可切换回单机数据库,一块儿也可做云下数据备份。

淘宝DRDS/TDDL是阿里巴巴自主研发的分布式数据库服务。DRDS脱胎于阿里巴巴开源的Cobar分布式数据库引擎,吸收了Cobar核心的Cobar-Proxy源码,实现了一套独立的类事MySQL-Proxy协议的解析端,可不还可以对传入的SQL进行解析和避免,对应用多多系统进程 屏蔽各种简化的底层DB拓扑行态,获得单机数据库一样的使用体验,一块儿借鉴了淘宝TDDL充沛的分布式数据库实践经验,实现了对分布式Join支持,SUM、MAX、COUNT、AVG等聚合函数支持以及排序等函数支持,通过异构索引、小表广播等避免分布式数据库使用场景下衍生出的一系列问題,最终形成了完整的分布式数据库方案。

而在实际数据库场景中,老要有一些源信息表,数据量较小,更新频度也很低,哪此表不会拆分,类事哪此源信息表通常采用单表模式,单表模式下一个多多多逻辑表的数据统一存储在一个多多多分库中,通常存储在“0”库,将哪此表定义为“小表”,而一些业务数据量大、更新频率高的表仍旧采用分库分表的拆分模式。那哪此“小表”和分库分表进行Join时,基于Nested Loop算法的原则,小表作为Join的驱动表会大大减少右表的IN查询次数,一块儿DRDS提供的小表广播功能,通过数据实时基因重组,将“小表”的全量数据和增量变更实时基因重组到分库分表上,将跨库的Join转化为单机Join操作,减少Server节点的计算,降低数据在多个底层实例之间的传输,Jion的传输速度提升会非常明显。

不会分布式SQL引擎主要目标是实现与单机数据库SQL引擎的完整兼容,实现SQL的智能下推。可不还可以智能分析SQL,解溶解哪此SQL还可不还可以直接埋点,哪此SQL还可不还可以进行优化改造,优化成哪此样,以及路由到哪此实例节点上执行,充埋点挥数据库实例的完整能力,减少网络之间的数据传输量,最终对不同实例避免后的几瓶结果数据进行聚合计算返回给应用调用方。这只是 分布式SQL引擎的智能下推功能。

整个扩容过程对上层的业务访问几乎无感知,是完整平滑的扩容,但仍需注意扩容的操作尽量确定在数据库访问,尤其是写入的低谷期进行,避免切换时那么 来过多的数据追赶时间。

通过分布式集群管理模块实现对集群节点的管控。在数据安全和服务可用性方面,通缺陷效的数据同步系统,实现数据库的扩容和数据库实例的主备数据同步。一块儿依赖实例监控模块和HA模块实现主备的监控和自动化容灾切换。作为心智开花结果期的句子的句子的句子的分布式数据库产品,TDDL也具备完善的运维管控系统,可不还可以实现分布式数据库多实例之间的配置管理、变更,以及各种数据同步、扩容等任务管理,降低运维成本。

异构索引是DRDS提升分布式查询传输速度的避免方案之一,可不还可以避免分布式场景下数据拆分纬度和数据查询使用纬度不一致意味着的低效问題。

扩容过程实际是物理数据迁移的过程,引擎层按照分库迁移后的逻辑先在物理节点上建立新的分库,不会保留一个多多多时间点进行全量的数据迁移。完成全量迁移后,开始基于先前保留的时间点进行增量的数据追赶。当增量数据追赶到两边的数据几乎一致时,对数据库进行瞬时停写,将最后的数据追平,引擎层进行分库逻辑的路由切换,路由规则切换完成后就完成了核心的扩容逻辑,整个切换过程在毫秒级别完成。

多机器用水平扩展模型使用几瓶廉价的PC-Server,通过阵列的土办法来实现数据库的水平扩容,优势在于成本更低,不可能 必须淘汰老设备和系统,必须频繁迁移数据,还可不还可以时,只需扩容服务集群规模。

当数据表被拆分为多个分库分表时,数据在分库分表的分布规则就固定了。不会通常数据的业务使用场景非常简化,不可能 数据的查询纬度和数据拆分分布的规则一致,单条SQL会在一个多多多分库分表上执行;不可能 数据的查询使用纬度和数据拆分分布的规格不一致,单条SQL就很有不可能 在多个分库分表上执行,老要出现跨库查询,跨库查询会增加网络I/O的成本,查询传输速度必然下降。

数据分片还可不还可以确定一个多多多分片的拆分纬度,也只是 数据分布的土办法。比如一个多多多用户订单信息表,不可能 按照订单ID做数据拆分,那么 相同订单ID的数据就会被拆分到同一个多多多数据库存储节点,不可能 按照用户ID做数据拆分,那么 同一个多多多用户的订单就会分布到同一个多多多数据库存储实例的存储节点。

DRDS通常使用的Join算法基于Nested Loop,对于Join的左右一个多多多表,首先从Join的左表(驱动表)取出数据,不会将所取出数据中Join列的值倒进右表并进行IN查询,从而完成Join过程。不会,Join的左表数据量越少,DRDS对右表做IN查询就次数就越少,不可能 右表的数据量也很少或建有索引,则Join的传输速度很快。故而在DRDS中,Join驱动表的确定对于Join的优化非常重要。

为了保证数据你你这人的安全,便于扩容回滚,在路由规格切换完成后,迁移前后的逻辑分库数据还可不还可以进行实时同步,直到业务确认后,才可清理原有分库数据。

在分布式架构下的多个数据表Jion,不可能 参与Join的多表数据切分纬度不同,数据则按照不同的拆分纬度分散在不同的数据库实例上,Join操作不可能 产生跨多个物理分库的Join,就还可不还可以进行多个底层实例的几瓶数据传输,SQL的执行传输速度就得必须保证,不会要参与Join操作的数据表要尽量保持拆分纬度统一,让Join操作尽量趋于稳定在单机上,减少跨库Join。不可能 必须保持拆分纬度的统一,趋于稳定跨库Join操作,那么 原则只是 尽量减少Join操作的输出传输。

第一步,读写保持在原有的数据库上,数据通过基因重组机制写入分布式数据库,前提是分布式目标库表不可能 建好;

其次针对Join的优化,确定条件查询数据量少的Join表作为左表(驱动表),降低右表IN查询的次数;在数据量少且变更量少的“广播表”参与的Jion操作,将“广播表”作为驱动表。

分布式引擎的职责含高SQL解析、优化、执行和合并十个 流程,如图4所示。

单机数据库迁移到分布式数据库要保证的只是 业务正常运转、平滑过渡、减少运维,整个迁移分为一个多多多步骤。

针对LIMIT OFFSET、COUNT语句,DRDS实际SQL执行是依次将OFFSET不会的记录数据读取出来,并丢弃,只保留OFFSET不会的数据,一个多多多多当OFFSET非常大时,读取的数据记录数很少,传输速度也很低,不可能 OFFSET不会的数据读取还可不还可以执行几瓶的磁盘I/O读取操作。优化土办法是将SQL优化为对key的OFFSET读取和IN操作一个多多多步骤,先读取OFFSET不会的记录key,内存中缓存哪此key,不会再通过IN查询获取完整的记录信息,从还可不还可以大大减少磁盘I/O,传输速度提升非常明显。

首先是条件查询优化,DRDS的数据按拆分键进行水平切分,查询中若带上拆分键对于减少SQL在DRDS的执行时间很有意义。查询条件尽量带分库键,就还可不还可以让DRDS根据分库键的值将查询直接路由到特定的分库,这有益于避免DRDS做全库扫描。含分库键的条件精度越高,越有益于提高查询传输速度,也只一个多多多多多的优化可不还可以充埋点挥分布式架构查询的优势,便于后续查询能力的扩展。

分布式数据库的数据有规律地存储在多个底层存储实例上,数据物理存储的变化会造成与原生的数据库引擎不兼容,单机数据库所有的数据读取、写入、计算还可不还可以单一的物理机上执行,数据情况汇报维持在单机上,主要的性能消耗在于磁盘的数据读取;而分布式架构下,数据和情况汇报还可不还可以在多个数据库实例之间以及底层实例和Proxy之间进行传输,这会造成网络I/O消耗,而网络I/O对性能造成消耗相较于本地磁盘I/O和本地计算的性能开销而言要大得多。

数据库的扩容是数据库运维的常见操作,当数据库的数据存储容量缺陷时,传统的单机数据库还可不还可以提升单机的存储空间来支持更大的数据写入量,而随着数据量膨胀,同样的SQL查询语句,查询的基础数据量增加必然会降低查询传输速度;一块儿随着数据量增加,数据库的访问压力通常也会成倍提升,造成单机数据库连接数到达极限,此时单机数据库就还可不还可以通过升级硬件规格,使用磁盘阵列,使用高端的存储介质设备和更高端的小型机服务器来承载数据量和访问量的增加,你你这人过程会伴随几瓶的数据迁移,为了保证数据的一致性通常还可不还可以停机数据迁移,对业务影响较大。

平滑扩容的前提是用户还可不还可以按照前述的分库分表逻辑,将逻辑数据库拆分为多个物理分库,不同的分库落在不同的底层物理数据库机器上。分库分表的数量通常建议用户预估未来3-5年的数据量增长情况汇报,按照你你这人数据量计算总体数据应该拆分为几次个分库,不可能 单个分库的数据量通常会一个多多多多建议值,超过你你这人阈值就会造成单个节点性能下降。有了具体的分库数量后,就还可不还可以按照分库的逻辑将数据拆分到不同的存储实例节点上,当承载分库的物理数据库机器老要出现容量和连接数缺陷等瓶颈问題时,就还可不还可以新增物理数据库节点,将原有的分库迁移到新的物理数据库节点上,实现整体逻辑数据库的扩容。

基于以上原则实现的SQL引擎,就还可不还可以做到服务能力线性扩展。比如一个多多多简单的AVG操作,对于一些比较初级的分布式数据库模型而言,常见做法是把AVG直接埋点到所有的存储节点,一个多多多多造成的结果只是 语法兼容,语意不兼容,最终拿到的是错误结果。而DRDS的智能下推引擎,对SQL的语法做充分的语意兼容性适配,针对AVG操作,必须由引擎将逻辑AVG SQL解析优化为SUM和COUNT的SQL不会进行下推,由底层的数据库实例节点完成SUM和COUNT计算,充分利用底层节点的计算能力,在引擎层将各个存储节点的SUM和COUNT结果聚合计算,最终计算出AVG。这只是 一个多多多非常典型的案例,在分布式数据库模型下,多数据表的Join操作,归并排序的兼容性非常简化,下文会针对典型的场景解析TDDL/DRDS怎么还可以避免分布式场景下的具体问題。

拆分纬度的确定非常重要,一般来说要根据实际业务的场景确定拆分键,总体指导原则是尽量保证每一个多多多数据库节点的数据量和负载更均衡,单条SQL操作尽量落到单个数据库节点执行,不同SQL的查询落到不同的数据库节点。一个多多多多还可不还可以减少多个节点之间的网络传输,保持分布式查询的传输速度,均衡负载的一块儿也便于扩展。

TDDL/DRDS采用服务和存储分离的架构,DRDS实例服务层通过集群土办法部署,由多个服务节点构成一个多多多服务实例,通过负载均衡以及域名服务对外提供服务,多个服务节点之间无情况汇报同步,平均负载避免用户请求。服务集群避免能力缺陷时,可随时扩充服务节点,增加服务避免能力。同样,业务低谷期也可适当降低集群规模,做到弹性的服务能力扩展。

对于一些大数据量OLAP的场景,对于单个Server节点的内存资源需求高时,也可通过提升单个Server节点的规格,做到垂直的能力扩展。

分布式数据库的事务和SQL查询优化的逻辑是一样的原则,尽量让事务在单库中执行,必须在单库中执行,才还可不还可以在保持事务ACID行态的一块儿,还能线性地扩展事务能力。你你这人单库事务通常称为“强事务”。

使用分布式多机模型也还可不还可以付出一定成本,分布式数据库的架构与单机数据库的逻辑和物理分布趋于稳定比较大差异,不会还可不还可以将单机数据库的数据迁移到分布式架构模型之下,也只是 Sharding的数据分片过程,你你这人过程涉及数据的分布式逻辑设计、数据库迁移和SQL的优化改造,当然你你这人迁移一次性的,当架构迁移完成不会,就不会再关心数据库扩容和数据迁移问題,不可能 分布式数据库的服务层不可能 集成了扩容功能,架构上支持水平能力扩展。

避免你你这人问題的思路还是分布式数据库的一贯原则,让SQL执行在单库上完成,实际采用的土办法只是 用“空间换传输速度”的方案,也只是 将同一份数据表,冗余存储多份,按照不同的业务使用场景进行拆分,保持拆分纬度和使用纬度统一,而多份数据之间会实时数据基因重组以避免数据一致性问題,这只是 “异构索引”方案。当然异构索引表必须无限制滥用,那么 来过多的异构索引表会影响同步传输速度,对源数据表造成同步压力。

分布式数据库核心诉求在于避免单机数据库的瓶颈,单机数据库在使用过程中不可避免会遇到数据库容量、连接数、事务数、读性能瓶颈,突破哪此瓶颈的你你这人通用的避免模型是单机垂直扩展scale up模型和水平扩展scale out模型。

30006年不会亲戚亲戚亲戚亲戚朋友的核心应用普遍采用Oracle数据库,但随着业务快速发展,淘宝的数据量和访问量急剧增加,数据库老要出现严重访问性能问題,意味着数据库频繁宕机、业务停滞,即使当时不可能 使用Oracle亚洲最大的RAC集群,单机数据库的扩展能力不可能 达到极限,且还可不还可以付出巨大的资金和运维成本,不会亲戚亲戚亲戚亲戚朋友基于此人 的实际情况汇报,逐步开始去IOE,研发分布式关系型数据库服务,实现数据库的高扩展和成本可控,目前DRDS不可能 成为亲戚亲戚亲戚亲戚朋友组织组织结构分布式数据库的标准,不会对外服务于金融、制造、政府机构、电商、社交等各行业。

DRDS/TDDL是典型的水平扩展分布式数据库模型,区别于传统单机数据库share anything架构,DRDS/TDDL采用share nothing架构,share nothing架构核心思路利用普通的服务器,将单机数据拆分到底层的多个数据库实例上,通过统一的Proxy集群进行SQL解析优化、路由和结果聚合,对外暴露简单唯一的数据库链接。整体架构如图1所示,含高DRDS服务模块、DRDS管控模块、配置中心、监控运维、数据库服务集群、域名服务模块。

DRDS的分布式架构采用平滑扩容的土办法来避免上述问題,通过增加更多的底层数据库实例来完成整体集群扩容。

遇到跨库事务,通常的实践优化土办法是通过“最终一致”事务保证事务执行的吞吐量。“最终一致”事务的原理是优先保证核心事务分支的正向执行,不会保存事务后边情况汇报,一些事务分支异步执行,执行完成后达到最终的事务一致,避免跨库事务时间序列执行阻塞,提升事务吞吐量。如图8所示,事务3和事务5是跨库事务,事务分支先在左边库进行,异步的事务分支在右边分库执行,分别在此人 所在的分库顺序执行,最终达到事务一致性。

实际业务也老要会面临分布式数据库架构下,数据库事务不可避免老要出现跨库执行。跨库事务必然涉及到一个多多多事务在多个分库上进行事务分支的执行和情况汇报同步,相比单机事务,分布式跨库事务的吞吐量和延迟会大大增加。而事务涉及的分库那么 多,事务边界越大,事务的延迟也会相应增加,性能就会老要出现线性衰减。

SQL优化是数据库使用和运维的日常操作,分布式数据库针对SQL的优化不仅要考虑磁盘I/O的开销,更要关注网络I/O开销。为了优化SQL执行,其核心的优化思想只是 减少网络I/O。为此,DRDS会尽量将一个多多多多DRDS你你这人层的工作均衡埋点到其底层的各个分库(如RDS 等)来做。一个多多多多就还可不还可以将一个多多多多还可不还可以走网络的I/O开销转换为单机的磁盘I/O开销,从而提升查询执行传输速度。不会,亲戚亲戚亲戚亲戚朋友在使用DRDS时若遇到了慢SQL,则需针对DRDS的特点将适当改写SQL。

第二步,验证云上数据是是否正确,切部分读取流量到目标的分布式数据库上读取线上压力验证(测试环境提前验证也可保证);

智能下核心原则有如下几次:

分布式场景下的Join操作和单机不同,单机数据的Jion操作趋于稳定在单机上,不趋于稳定组织组织结构网络数据传输。

单机扩展模型和硬件资源强绑定,普遍采用升级单机硬件能力的土办法,实现数据库服务能力扩展,比如一个多多多多采用MySQL单机数据库,遇到访问瓶颈时更换磁盘,访问量更高时就还可不还可以考虑使用Oracle的商用避免方案、高端的存储设备、高端小型机,也只是 IOE架构,甚至升级IOE设备,以换取更高的扩展和服务能力,你你这人过程就会趋于稳定设备升级和数据迁移的成本。

DRDS作为分布式数据体系中的数据库服务后边层,未来会适配更多底层存储引擎,在充分利用底存储节点的计算能力的一块儿,优化你你这人服务的计算能力,避免OLAP场景,成为可不还可以完整覆盖OLTP和OLAP以及一些一些数据库服务场景的完备的分布式数据库服务体系。一块儿完备分布式数据库逻辑层的运维支持和分布式强一致事务的支持