MySQL数据库如何实现XA规范
MySQL为我们提供了分布式事务解决方案,在前面的内容中提到过binlog的同步,其实是MySQL XA规范的一个应用,那么XA规范是如何定义的,具体又是怎么实现应用的呢?
MySQL有哪些一致性日志
如果MySQL数据库断电了,未提交的事务该怎么办?
答案是依靠日志,因为在执行一个操作之前,数据库会首先把这个操作把这个内容写入到文件系统日志里记录起来,然后再进行操作,当宕机或者断电的时候,即使操作并没有执行完,但是日志在操作前就已经写好了,我们仍然可以根据日志的内容来进行恢复。
MySQL InnoDB引擎中和一致性相关的有重做日志(redo log)、回滚日志(undo log)和二进制日志(binlog)。
redo 日志,每当有操作执行前,在数据真正更改前,会先把相关操作写入redo日志,这样当断电或者发生一些意外,导致后续任务无法完成时,待系统恢复后,可以继续完成这些更改。
和redo日志对应的是undo日志,也叫撤销日志,记录事务开始前数据的状态,当一些更改再执行一般时,发生意外而无法完成,就可以根据撤销日志到更改以前的状态,举个例子,事务T1更新数据X,对X执行Update操作,从10更新到20,对应的日志为<T1,X,20>.Undo日志为<T1,X,10>。
binlog日志是MySQL server层维护的一种二进制日志,是MySQL最重要的日志之一,他记录了所有的DDL和DML语句,除了数据查询语句select、show等,还包含语句执行所消耗的时间。
1 | //查看binlog文件的内容 |
XA规范是如何定义的
XA是由X/Open组织提出的分布式事务规范,XA规范主要定义了事务协调者(Transaction Manager)和资源管理器(Resource Manager)之间的接口
事务协调者(Transaction Manager) 因为XA事务是基于两阶段提交协议的,所以需要有一个协调者,来保证所有的事物参与者都完成了准备工作,也就是2PC的第一阶段,如果事务协调者收到有参与者都准备好的消息,就会通知所有的事务都可以提交,也就是2PC的第二阶段。
之所以需要引入事务协调者,是因为在分布式系统中,两台机器理论上无法达到一致的状态,需要引入一个单点进行协调,协调者,也就是事务管理器控制着全局事务,管理事务生命周期,并协调资源。
资源管理器(Rersource Manager) 负责控制和管理实际资源,比如数据库或JMS队列,目前,主流数据库都提供了对XA的支持,在JMS规范中,即Java消息服务(Java Message Service)中,也基于XA定义了对事物的支持。
XA事务的执行流程
XA事务是两阶段提交的一种实现方式,根据2PC的规范,XA将一次事物分割成了两个阶段,即Prepare和Commit阶段
Prepare阶段 TM 向所有 RM 发送 prepare 指令,RM 接受到指令后,执行数据修改和日志记录等操作,然后返回可以提交或者不提交的消息给 TM。如果事务协调者 TM 收到所有参与者都准备好的消息,会通知所有的事务提交,然后进入第二阶段。
**Commit阶段 **TM 接受到所有 RM 的 prepare 结果,如果有 RM 返回是不可提交或者超时,那么向所有 RM 发送 Rollback 命令;如果所有 RM 都返回可以提交,那么向所有 RM 发送 Commit 命令,完成一次事务操作。
MySQL如何实现XA规范
MySQL 中 XA 事务有两种情况,内部 XA 和外部 XA,其区别是事务发生在 MySQL 服务器单机上,还是发生在多个外部节点间上。
内部XA
在 MySQL 的 InnoDB 存储引擎中,开启 binlog 的情况下,MySQL 会同时维护 binlog 日志与 InnoDB 的 redo log,为了保证这两个日志的一致性,MySQL 使用了 XA 事务,由于是在 MySQL 单机上工作,所以被称为内部 XA。
内部 XA 事务由 binlog 作为协调者,在事务提交时,则需要将提交信息写入二进制日志,也就是说,binlog 的参与者是 MySQL 本身。
外部XA
外部XA就是典型的分布式事务,MySQL支持 XA START/END/PREPARE/Commit 这些 SQL 语句,通过使用这些命令,可以完成分布式事务。
MySQL外部XA主要应用在数据库代理层,实现对MySQL数据库的分布式事务支持,例如开源的数据库中间层,比如淘宝的 TDDL、阿里巴巴 B2B 的 Cobar 等。外部 XA 一般是针对跨多 MySQL 实例的分布式事务,需要应用层作为协调者,比如我们在写业务代码,在代码中决定提交还是回滚,并且在崩溃时进行恢复。
Binlog 中的 Xid
当事务提交时,在binlog依赖的内部XA中,额外添加了Xid结构,binlog有多种数据类型,包括以下三种
statement 格式,记录为基本语句,包含 Commit
row 格式,记录为基于行
mixed 格式,日志记录使用混合格式
不论是statement还是row格式,binlog都会添加一个XID-EVENT作为事务的结束,该事件记录了事务ID也就是Xid,在MySQL进行崩溃恢复时根据binlog中提交的情况来决定如何恢复。
Binlog同步过程
下面来看看 Binlog 下的事务提交过程,整体过程是先写 redo log,再写 binlog,并以 binlog 写成功为事务提交成功的标志。
当有事务提交时:
第一步,InnoDB 进入 Prepare 阶段,并且 write/sync redo log,写 redo log,将事务的 XID 写入到 redo 日志中,binlog 不作任何操作;
第二步,进行 write/sync Binlog,写 binlog 日志,也会把 XID 写入到 Binlog;
第三步,调用 InnoDB 引擎的 Commit 完成事务的提交,将 Commit 信息写入到 redo 日志中。
如果是在第一步和第二步失败,则整个事务回滚;如果是在第三步失败,则 MySQL 在重启后会检查 XID 是否已经提交,若没有提交,也就是事务需要重新执行,就会在存储引擎中再执行一次提交操作,保障 redo log 和 binlog 数据的一致性,防止数据丢失。
在实际执行中,还牵扯到操作系统缓存 Buffer 何时同步到文件系统中,所以 MySQL 支持用户自定义在 Commit 时如何将 log buffer 中的日志刷到 log file 中,通过变量 innodb_flush_log_at_trx_Commit 的值来决定。在 log buffer 中的内容称为脏日志。
JTA + Atomikos
XA分布式事务:管理横跨多个数据库的分布式事务。一般用于单系统多库的场景,要是多系统多库,比较麻烦。
JTA负责Atomikos框架的一个指挥和调度,让它按照事务的基本步骤来走,Atomikos框架相当于是DTP模型里的TM,跟各个MySQL(RM)通信,XA START、XA END、XA COMMIT、XA ROLLBACK等符合XA规范的一套接口调用。
实现原理:创建分布式事务的时候,创建一个代表了分布式事务的对象。在各个SQL执行的时候,必须从 自定义的DataSource里面获取Connection,对Connection的prepareStatement()方法的调用,需要进行拦截,去对各个库执行XA START指令,以及定义好SQL;在提交事务的时候,需要去对各个库执行XA PREPARE指令,如果都成功,就执行XA COMMIT指令,如果失败,就执行XA ROLLBACK指令。