XtraBackup介绍
- Percona XtraBackup是一款基于MySQL的服务器的开源热备份实用程序，在备份过程中不会锁定数据库。它可以备份来自MySQL5.1，5.5，5.6和5.7服务器上的InnoDB，XtraDB和MyISAM表的数据，以及带有XtraDB的Percona服务器。
- Percona XtraBackup为所有版本的Percona Server，MySQL和MariaDB进行MySQL热备份。它执行流，压缩和增量MySQL备份。
- 功能：
- 在不暂停数据库的情况下创建热的InnoDB备份
- 进行MySQL的增量备份
- 将压缩的MySQL备份传输到另一台服务器
- 在MySQL服务器之间移动表格
- 轻松创建新的MySQL复制从站
- 在不增加服务器负载的情况下备份MySQL
- Xtrabackup特点：
- (1)备份过程快速、可靠
- (2)备份过程不会打断正在执行的事务
- (3)能够基于压缩等功能节约磁盘空间和流量
- (4)自动实现备份检验
- (5)还原速度快
- 下载地址： https://www.percona.com/downloads/
- 官方文档：https://www.percona.com/doc/percona-xtrabackup/LATEST/index.html#user-s-manual
- 参数说明：https://www.percona.com/doc/percona-xtrabackup/LATEST/xtrabackup_bin/xbk_option_reference.html
XtraBackup安装部署
下载源码包
- 下载地址：https://www.percona.com/downloads/Percona-XtraBackup-2.4/LATEST/
- 说明：Percona XtraBackup 8.0版本是针对MySQL8.0版本使用的
- 注意：下载前首先查看使用系统的libgcrypt版本，下载对应的版本
[root@gitlab ~]# yum list installed|grep libgcrypt
- 如果不是对应系统libgcrypt的版本，会出现如下报错：
- innobackupex: error while loading shared libraries: libgcrypt.so.20: cannot open shared object file: No such file or directory
解压文件
[root@gitlab ~]# tar -zxvf percona-xtrabackup-2.4.14-Linux-x86_64.libgcrypt153.tar.gz
拷贝文件
root@gitlab bin]# pwd /root/percona-xtrabackup-2.4.14-Linux-x86_64/bin [root@gitlab bin]# cp innobackupex /usr/bin/ [root@gitlab bin]# cp xtrabackup /usr/bin [root@gitlab bin]# ./innobackupex --version
XtraBackup命令介绍
- xtrabackup有两个主要的工具：xtrabackup、innobackupex
- (1) xtrabackup只能备份InnoDB和XtraDB 两种数据表
- (2) innobackupex则封装了xtrabackup,同时可以备份MyISAM数据表
- Innobackupex完整备份后生成了几个重要的文件：
- xtrabackup_binlog_info：记录当前最新的LOG Position
- xtrabackup_binlog_pos_innodb:innodb log postion
- xtrabackup_checkpoints: 存放备份的起始位置beginlsn和结束位置endlsn,增量备份需要这个lsn【增量备份可以在这里面看from和to两个值的变化】
innobackupex
- xtrabackup命令只备份数据文件,并不备份数据表结构(.frm)，所以使用xtrabackup恢复的时候必须有对应表结构文件(.frm)。用innobackupex命令，此命令相当于冷备来源(Source)：www.dqzboy.com份，复制数据目录的索引，数据，结构文件，但会有短暂的锁表（时间依赖于MyISAM大小，对MyISAM进行锁表；MySQL的5.7默认是Innodb引擎，但是系统表还是默认的MyIASM引擎，所以会对系统表进行短暂锁表操作）
参数介绍
--compress：该选项表示压缩innodb数据文件的备份。--compress-threads：该选项表示并行压缩worker线程的数量。--compress-chunk-size：该选项表示每个压缩线程worker buffer的大小，单位是字节，默认是64K。--encrypt：该选项表示通过ENCRYPTION_ALGORITHM的算法加密innodb数据文件的备份，目前支持的算法有ASE128,AES192,AES256。--encrypt-threads：该选项表示并行加密的worker线程数量。--encrypt-chunk-size：该选项表示每个加密线程worker buffer的大小，单位是字节，默认是64K。--encrypt-key：该选项使用合适长度加密key，因为会记录到命令行，所以不推荐使用。--encryption-key-file：该选项表示文件必须是一个简单二进制或者文本文件，加密key可通过以下命令行命令生成：openssl rand -base64 24。--include：该选项表示使用正则表达式匹配表的名字[db.tb]，要求为其指定匹配要备份的表的完整名称，即databasename.tablename。--user：该选项表示备份账号。--password：该选项表示备份的密码。--port：该选项表示备份数据库的端口。--host：该选项表示备份数据库的地址。--databases：该选项接受的参数为数据名，如果要指定多个数据库，彼此间需要以空格隔开；如：”xtra_test dba_test”，同时，在指定某数据库时，也可以只指定其中的某张表。如：”mydatabase.mytable”。该选项对innodb引擎表无效，还是会备份所有innodb表。此外，此选项也可以接受一个文件为参数，文件中每一行为一个要备份的对象。--tables-file：该选项表示指定含有表列表的文件，格式为database.table，该选项直接传给–tables-file。--socket：该选项表示mysql.sock所在位置，以便备份进程登录mysql。--no-timestamp：该选项可以表示不要创建一个时间戳目录来存储备份，指定到自己想要的备份文件夹。--ibbackup：该选项指定了使用哪个xtrabackup二进制程序。IBBACKUP-BINARY是运行percona xtrabackup的命令。这个选项适用于xtrbackup二进制不在你是搜索和工作目录，如果指定了该选项,innoabackupex自动决定用的二进制程序。--slave-info：该选项表示对slave进行备份的时候使用，打印出master的名字和binlog pos，同样将这些信息以change master的命令写入xtrabackup_slave_info文件。可以通过基于这份备份启动一个从库。--safe-slave-backup：该选项表示为保证一致性复制状态，这个选项停止SQL线程并且等到show status中的slave_open_temp_tables为0的时候开始备份，如果没有打开临时表，bakcup会立刻开始，否则SQL线程启动或者关闭知道没有打开的临时表。如果slave_open_temp_tables在--safe-slave-backup-timeount（默认300秒）秒之后不为0，从库sql线程会在备份完成的时候重启。--rsync：该选项表示通过rsync工具优化本地传输，当指定这个选项，innobackupex使用rsync拷贝非Innodb文件而替换cp，当有很多DB和表的时候会快很多，不能--stream一起使用。--kill-long-queries-timeout：该选项表示从开始执行FLUSH TABLES WITH READ LOCK到kill掉阻塞它的这些查询之间等待的秒数。默认值为0，不会kill任何查询，使用这个选项xtrabackup需要有Process和super权限。--kill-long-query-type：该选项表示kill的类型，默认是all，可选select。--ftwrl-wait-threshold：该选项表示检测到长查询，单位是秒，表示长查询的阈值。--ftwrl-wait-query-type：该选项表示获得全局锁之前允许那种查询完成，默认是ALL，可选update。--galera-info：该选项表示生成了包含创建备份时候本地节点状态的文件xtrabackup_galera_info文件，该选项只适用于备份PXC。--stream：该选项表示流式备份的格式，backup完成之后以指定格式到STDOUT，目前只支持tar和xbstream。--defaults-file：该选项指定了从哪个文件读取MySQL配置，必须放在命令行第一个选项的位置。--defaults-extra-file：该选项指定了在标准defaults-file之前从哪个额外的文件读取MySQL配置，必须在命令行的第一个选项的位置。一般用于存备份用户的用户名和密码的配置文件。--defaults-group：该选项表示从配置文件读取的组，innobakcupex多个实例部署时使用。--no-lock：该选项表示关闭FTWRL的表锁，只有在所有表都是Innodb表并且不关心backup的binlog pos点，如果有任何DDL语句正在执行或者非InnoDB正在更新时（包括mysql库下的表），都不应该使用这个选项，后果是导致备份数据不一致，如果考虑备份因为获得锁失败，可以考虑--safe-slave-backup立刻停止复制线程。--tmpdir：该选项表示指定--stream的时候，指定临时文件存在哪里，在streaming和拷贝到远程server之前，事务日志首先存在临时文件里。在 使用参数stream=tar备份的时候，你的xtrabackup_logfile可能会临时放在/tmp目录下，如来源(Source)：www.dqzboy.com果你备份的时候并发写入较大的话 xtrabackup_logfile可能会很大(5G+)，很可能会撑满你的/tmp目录，可以通过参数--tmpdir指定目录来解决这个问题。--history：该选项表示percona server 的备份历史记录在percona_schema.xtrabackup_history表。--incremental：该选项表示创建一个增量备份，需要指定--incremental-basedir。--incremental-basedir：该选项表示接受了一个字符串参数指定含有full backup的目录为增量备份的base目录，与--incremental同时使用。--incremental-dir：该选项表示增量备份的目录。--incremental-force-scan：该选项表示创建一份增量备份时，强制扫描所有增量备份中的数据页。--incremental-lsn：该选项表示指定增量备份的LSN，与--incremental选项一起使用。--incremental-history-name：该选项表示存储在PERCONA_SCHEMA.xtrabackup_history基于增量备份的历史记录的名字。Percona Xtrabackup搜索历史表查找最近（innodb_to_lsn）成功备份并且将to_lsn值作为增量备份启动出事lsn.与innobackupex --incremental-history-uuid互斥。如果没有检测到有效的lsn，xtrabackup会返回error。--incremental-history-uuid：该选项表示存储在percona_schema.xtrabackup_history基于增量备份的特定历史记录的UUID。--close-files：该选项表示关闭不再访问的文件句柄，当xtrabackup打开表空间通常并不关闭文件句柄目的是正确的处理D来源(Source)：www.dqzboy.comDL操作。如果表空间数量巨大，这是一种可以关闭不再访问的文件句柄的方法。使用该选项有风险，会有产生不一致备份的可能。--compact：该选项表示创建一份没有辅助索引的紧凑的备份。--throttle：该选项表示每秒IO操作的次数，只作用于bakcup阶段有效。--apply-log和--copy-back不生效不要一起用。
innobackupex使用
数据库全备
- 先准备测试数据
mysql> create DATABASE lucky; mysql> use lucky; Database changed mysql> CREATE TABLE tb_courses ( course_id INT NOT NULL AUTO_INCREMENT, course_name CHAR(40) NOT NULL, course_grade FLOAT NOT NULL, course_info CHAR(100) NULL, PRIMARY KEY(course_id) ); Query OK, 0 rows affected (0.01 sec) mysql> show tables; +-----------------+ | Tables_in_lucky | +-----------------+ | tb_courses | +-----------------+ 1 row in set (0.00 sec)
全备与恢复
-
备份MySQL全库
root@gitlab data]# innobackupex --defaults-file=/etc/my.cnf --user=root --password=XIAOXIN@root2758 --socket=/var/lib/mysql/mysql.sock /root/data/ xtrabackup: recognized server arguments: --datadir=/var/lib/mysql xtrabackup: recognized client arguments: --datadir=/var/lib/mysql 200708 14:12:07 innobackupex: Starting the backup operation 200708 14:12:09 Executing UNLOCK TABLES 200708 14:12:09 All tables unlocked 200708 14:12:09 [00] Copying ib_buffer_pool to /root/data/2020-07-08_14-12-07/ib_buffer_pool 200708 14:12:09 [00] ...done 200708 14:12:09 Backup created in directory '/root/data/2020-07-08_14-12-07/' 200708 14:12:09 [00] Writing /root/data/2020-07-08_14-12-07/backup-my.cnf 200708 14:12:09 [00] ...done 200708 14:12:09 [00] Writing /root/data/2020-07-08_14-12-07/xtrabackup_info 200708 14:12:09 [00] ...done xtrabackup: Transaction log of lsn (2634556) to (2634565) was copied. 200708 14:12:09 completed OK!
查看备份数据
- 指定的备份目录下会生成一个以时间命名的文件夹，备份数据备份在此目录下
[root@gitlab data]# ll 总用量 0 drwxr-x---. 6 root root 206 7月 8 14:12 2020-07-08_14-12-07 [root@gitlab data]# ll 2020-07-08_14-12-07/ 总用量 12336 -rw-r-----. 1 root root 487 7月 8 14:12 backup-my.cnf -rw-r-----. 1 root root 425 7月 8 14:12 ib_buffer_pool -rw-r-----. 1 root root 12582912 7月 8 14:12 ibdata1 drwxr-x---. 2 root root 64 7月 8 14:12 lucky drwxr-x---. 2 root root 4096 7月 8 14:12 mysql drwxr-x---. 2 root root 8192 7月 8 14:12 performance_schema drwxr-x---. 2 root root 8192 7月 8 14:12 sys -rw-r-----. 1 root root 135 7月 8 14:12 xtrabackup_checkpoints -rw-r-----. 1 root root 485 7月 8 14:12 xtrabackup_info -rw-r-----. 1 root root 2560 7月 8 14:12 xtrabackup_logfile
数据文件一致性
- 利用
--apply-log的作用是通过回滚未提交的事务及同步已经提交的事务至数据文件处于一致性状态; 把已提交的事务合并到ibdata文件
root@gitlab data]# innobackupex --apply-log /root/data/2020-07-08_14-12-07/ xtrabackup: recognized server arguments: --innodb_checksum_algorithm=crc32 --innodb_log_checksum_algorithm=strict_crc32 --innodb_data_file_path=ibdata1:12M:autoextend --innodb_log_files_in_group=2 --innodb_log_file_size=50331648 --innodb_fast_checksum=0 --innodb_page_size=16384 --innodb_log_block_size=512 --innodb_undo_directory=./ --innodb_undo_tablespaces=0 --server-id=0 --redo-log-version=1 xtrabackup: recognized client arguments: --innodb_checksum_algorithm=crc32 --innodb_log_checksum_algorithm=strict_crc32 --innodb_data_file_path=ibdata1:12M:autoextend --innodb_log_files_in_group=2 --innodb_log_file_size=50331648 --innodb_fast_checksum=0 --innodb_page_size=16384 --innodb_log_block_size=512 --innodb_undo_directory=./ --innodb_undo_tablespaces=0 --server-id=0 --redo-log-version=1 200708 14:18:55 innobackupex: Starting the apply-log operation InnoDB: 96 redo rollback segment(s) found. 1 redo rollback segment(s) are active. InnoDB: 32 non-redo rollback segment(s) are active. InnoDB: 5.7.19 started; log sequence number 2634773 xtrabackup: starting shutdown with innodb_fast_shutdown = 1 InnoDB: FTS optimize thread exiting. InnoDB: Starting shutdown... InnoDB: Shutdown completed; log sequence number 2634792 200708 14:18:58 completed OK!
全库恢复
- 关闭数据库----先删除库------方便验证
mysql> show databases; +--------------------+ | Database | +--------------------+ | information_schema | | lucky | | mysql | | performance_schema | | sys | +--------------------+ 5 rows in set (0.00 sec) mysql> drop database lucky; Query OK, 1 row affected (0.00 sec) mysql> show databases; +--------------------+ | Database | +--------------------+ | information_schema | | mysql | | performance_schema | | sys | +--------------------+ 4 rows in set (0.00 sec)
- 关闭数据库
[root@gitlab data]# systemctl stop mysqld.service
- 大家做的时候，记得备份自己的数据库目录，我就直接删除了。
[root@gitlab data]# ll /var/lib/mysql 总用量 110660 -rw-r-----. 1 mysql mysql 56 7月 8 13:06 auto.cnf -rw-------. 1 mysql mysql 1676 7月 8 13:06 ca-key.pem -rw-r--r--. 1 mysql mysql 1112 7月 8 13:06 ca.pem -rw-r--r--. 1 mysql mysql 1112 7月 8 13:06 client-cert.pem -rw-------. 1 mysql mysql 1680 7月 8 13:06 client-key.pem -rw-r-----. 1 mysql mysql 366 7月 8 14:30 ib_buffer_pool -rw-r-----. 1 mysql mysql 12582912 7月 8 14:30 ibdata1 -rw-r-----. 1 mysql mysql 50331648 7月 8 14:30 ib_logfile0 -rw-r-----. 1 mysql mysql 50331648 7月 8 13:06 ib_logfile1 drwxr-x---. 2 mysql mysql 4096 7月 8 13:06 mysql drwxr-x---. 2 mysql mysql 8192 7月 8 13:06 performance_schema -rw-------. 1 mysql mysql 1680 7月 8 13:06 private_key.pem -rw-r--r--. 1 mysql mysql 452 7月 8 13:06 public_key.pem -rw-r--r--. 1 mysql mysql 1112 7月 8 13:06 server-cert.pem -rw-------. 1 mysql mysql 1680 7月 8 13:06 server-key.pem drwxr-x---. 2 mysql mysql 8192 7月 8 13:06 sys [root@gitlab data]# rm -rf /var/lib/mysql/*
- 恢复数据
[root@gitlab data]# innobackupex --defaults-file=/etc/my.cnf --user=root --copy-back /root/data/2020-07-08_14-12-07/ 200708 14:42:19 [01] ...done 200708 14:42:19 [01] Copying ./ibtmp1 to /var/lib/mysql/ibtmp1 200708 14:42:19 [01] ...done 200708 14:42:19 completed OK!
- 重新授权数据存放目录
[root@gitlab ~]# chown -R mysql. /var/lib/mysql
- 启动数据库
[root@gitlab ~]# systemctl start mysqld.service
- 验证
mysql> show databases; +--------------------+ | Database | +--------------------+ | information_schema | | lucky | | mysql | | performance_schema | | sys | +--------------------+ 5 rows in set (0.00 sec) mysql> use lucky; Reading table information for completion of table and column names You can turn off this feature to get a quicker startup with -A Database changed mysql> show tables; +-----------------+ | Tables_in_lucky | +-----------------+ | tb_courses | +-----------------+ 1 row in set (0.00 sec)
对某一个库进行全备与恢复
- 对某个数据库进行备份
mysql> use lucky; Reading table information for completion of table and column names You can turn off this feature to get a quicker startup with -A Database changed mysql> show tables; +-----------------+ | Tables_in_lucky | +-----------------+ | tb_courses | +-----------------+ 1 row in set (0.00 sec)
说明：
--database=lucky单独对指定数据库做备份 ，若是不添加此参数那就是对全库做备份- 2>/data/error.log 标准错误输出信息写入日志中
- 1>/date/test.tar.gz 打包压缩存储到该文件中
[root@gitlab ~]# innobackupex --defaults-file=/etc/my.cnf --user=root --password=XIAOXIN@root2758 --socket=/var/lib/mysql/mysql.sock --databases=lucky /root/data/
xtrabackup: recognized server arguments: --datadir=/var/lib/mysql
xtrabackup: recognized client arguments: --datadir=/var/lib/mysql
200708 15:08:11 innobackupex: Starting the backup operation
IMPORTANT: Please check that the backup run completes successfully.
At the end of a successful backup run innobackupex
prints "completed OK!".
Can't locate Digest/MD5.pm in @INC (@INC contains: /usr/local/lib64/perl5 /usr/local/share/perl5 /usr/lib64/perl5/vendor_perl /usr/share/perl5/vendor_perl /usr/lib64/perl5 /usr/share/perl5 .) at - line 693.
BEGIN failed--compilation aborted at - line 693.
200708 15:08:11 Connecting to MySQL server host: localhost, user: root, password: set, port: not set, socket: /var/lib/mysql/mysql.sock
Using server version 5.7.30
innobackupex version 2.4.14 based on MySQL server 5.7.19 Linux (x86_64) (revision id: ef675d4)
200708 15:08:12 Executing UNLOCK TABLES
200708 15:08:12 All tables unlocked
200708 15:08:12 [00] Copying ib_buffer_pool to /root/data/2020-07-08_15-08-11/ib_buffer_pool
200708 15:08:12 [00] ...done
200708 15:08:12 Backup created in directory '/root/data/2020-07-08_15-08-11/'
200708 15:08:12 [00] Writing /root/data/2020-07-08_15-08-11/backup-my.cnf
200708 15:08:12 [00] ...done
200708 15:08:12 [00] Writing /root/data/2020-07-08_15-08-11/xtrabackup_info
200708 15:08:12 [00] ...done
xtrabackup: Transaction log of lsn (2634811) to (2634820) was copied.
200708 15:08:13 completed OK!
查看备份文件
[root@gitlab ~]# ll /root/data/2020-07-08_15-08-11/ 总用量 12308 -rw-r-----. 1 root root 487 7月 8 15:08 backup-my.cnf -rw-r-----. 1 root root 425 7月 8 15:08 ib_buffer_pool -rw-r-----. 1 root root 12582912 7月 8 15:08 ibdata1 drwxr-x---. 2 root root 64 7月 8 15:08 lucky -rw-r-----. 1 root root 135 7月 8 15:08 xtrabackup_checkpoints -rw-r-----. 1 root root 503 7月 8 15:08 xtrabackup_info -rw-r-----. 1 root root 2560 7月 8 15:08 xtrabackup_logfile
数据文件一致性
- 利用
--apply-log的作用是通过回滚未提交的事务及同步已经提交的事务至数据文件处于一致性状态; 把已提交的事务合并到ibdata文件
[root@gitlab ~]# innobackupex --apply-log /root/data/2020-07-08_15-08-11/ InnoDB: Starting shutdown... InnoDB: Shutdown completed; log sequence number 2660392 200708 15:16:44 completed OK!
恢复数据库
注意：innobackupex不能通过命令恢复指定的数据库，只能在恢复时停止数据库，然后将当前的datadir目录重新命名，然后新建一个数据目录(必须是/etc/my.cnf文件中指定的datadir路径和名称)；最后数据恢复至新建的datadir中后，再将旧的datadir目录下的其他数据库和文件拷贝至新建的datadir目录下，然后在启动数据库(不建议这么操作，数据量大时建议全备后然后全库恢复，保证数据的一致)
- 停止数据库
[root@gitlab ~]# systemctl stop mysqld.service
- 重命名原数据目录,备用
[root@gitlab ~]# mv /var/lib/mysql /var/lib/mysqlback
- 恢复
[root@gitlab ~]# innobackupex --defaults-file=/etc/my.cnf --user=root --copy-back /root/data/2020-07-08_15-08-11
xtrabackup: recognized server arguments: --datadir=/var/lib/mysql
xtrabackup: recognized client arguments: --datadir=/var/lib/mysql
200708 15:24:43 innobackupex: Starting the copy-back operation
IMPORTANT: Please check that the copy-back run completes successfully.
At the end of a successful copy-back run innobackupex
prints "completed OK!".
innobackupex version 2.4.14 based on MySQL server 5.7.19 Linux (x86_64) (revision id: ef675d4)
200708 15:24:43 [01] Copying ib_logfile0 to /var/lib/mysql/ib_logfile0
200708 15:24:43 [01] ...done
200708 15:24:43 [01] Copying ib_logfile1 to /var/lib/mysql/ib_logfile1
200708 15:24:43 [01] ...done
200708 15:24:43 [01] Copying ibdata1 to /var/lib/mysql/ibdata1
200708 15:24:43 [01] ...done
200708 15:24:43 [01] Copying ./lucky/tb_courses.ibd to /var/lib/mysql/lucky/tb_courses.ibd
200708 15:24:43 [01] ...done
200708 15:24:43 [01] Copying ./lucky/db.opt to /var/lib/mysql/lucky/db.opt
200708 15:24:43 [01] ...done
200708 15:24:43 [01] Copying ./lucky/tb_courses.frm to /var/lib/mysql/lucky/tb_courses.frm
200708 15:24:43 [01] ...done
200708 15:24:43 [01] Copying ./ib_buffer_pool to /var/lib/mysql/ib_buffer_pool
200708 15:24:43 [01] ...done
200708 15:24:43 [01] Copying ./xtrabackup_info to /var/lib/mysql/xtrabackup_info
200708 15:24:43 [01] ...done
200708 15:24:43 [01] Copying ./xtrabackup_master_key_id to /var/lib/mysql/xtrabackup_master_key_id
200708 15:24:43 [01] ...done
200708 15:24:43 [01] Copying ./ibtmp1 to /var/lib/mysql/ibtmp1
200708 15:24:43 [01] ...done
200708 15:24:43 completed OK!
- 执行上面的命令需要保证数据目录是空的，否则会失败，因为目录里有binlog日志，要么移走，要么就用手动复制需要的文件。所以说日志不要和数据放在一起。
- 数据目录授权
[root@gitlab ~]# chown -R mysql. /var/lib/mysql
- 启动数据库
root@gitlab ~]# systemctl start mysqld.service
继续阅读
评论