一、背景

二进制日志在MySQL数据库中有着至关重要的作用,而读取二进制日志的工具就显得同样重要了,官方的mysqlbinlog就是读取二进制日志的工具,这里就结合官网和自己的实践整理一下

(PS: 最近总在学习新知识,担心老的知识不用会忘,所以梳理一下,新欢旧爱都要宠着)

二、介绍

1.参数简介

Option NameDescriptionIntroducedDeprecated
--base64-output

此选项确定何时使用BINLOG语句将事件显示为以base-64字符串编码 。该选项具有以下允许值(不区分大小写):

默认为--base64-output=AUTO

NEVER使 BINLOG语句不显示。如果发现必须使用来显示的行事件,则mysqlbinlog退出并出现错误BINLOG

DECODE-ROWS通过指定--verbose选项,向mysqlbinlog指定您打算对行事件进行解码并显示为带注释的SQL语句。与NEVER一样,DECODE-ROWS禁止显示BINLOG语句,但是与NEVER不同,如果找到行事件,它不会以错误退出。

--bind-address在具有多个网络接口的计算机上,使用此选项选择用于连接到MySQL服务器的接口
--binlog-row-event-max-size指定基于行的二进制日志事件的最大大小,以字节为单位。如果可能,将行分组为小于此大小的事件。该值应为256的倍数。默认值为4GB
--character-sets-dir字符集的安装目录
--connection-server-id

此选项用于测试MySQL服务器是否支持BINLOG_DUMP_NON_BLOCK连接标志。正常操作不需要。

该选项的有效默认值和最小值取决于mysqlbinlog是在阻塞模式还是非阻塞模式下运行。当 mysqlbinlog在阻塞模式下运行时,默认值(最小值)为1;默认值为1。在非阻塞模式下运行时,默认值(和最小值)为0。

--database仅列出该数据库的条目,如果二进制格式是基于语句的,那么只有显示use db_name及下面的语句可以输出,而insert test.tab_name的语句并不会输出,而选择基于行模式的二进制格式,则会输出该库下表的修改,不过你用的是何种形式的sql,有没有使用use
--debug编写调试日志,
--debug-check程序退出时,打印一些调试信息。
--debug-info程序退出时,打印调试信息以及内存和CPU使用情况统计信息。
--default-auth有关使用哪个客户端身份验证插件的提示
--defaults-extra-file在全局选项文件之后但在用户选项文件之前(在Unix上)读取此选项文件。如果文件不存在或无法访问,则发生错误。如果 file_name不是绝对路径名,则相对于当前目录进行解释
--defaults-file仅使用给定的选项文件。如果文件不存在或无法访问,则发生错误。
--defaults-group-suffix不仅阅读常规选项组,而且阅读具有常规名称和后缀的组
--disable-log-bin禁用二进制日志记录
--exclude-gtids不要显示gtid_set中列出的任何组
--force-if-open读取二进制日志文件,即使它们已打开或未正确关闭
--force-read使用此选项,如果mysqlbinlog读取了它无法识别的二进制日志事件,它将打印警告,忽略该事件,然后继续。如果没有此选项,则mysqlbinlog会在读取到此类事件时停止。
--get-server-public-key从服务器请求基于RSA密钥对的密码交换所需的公共密钥。此选项适用于使用caching_sha2_password身份验证插件进行身份验证的客户端 。对于该插件,除非请求,否则服务器不会发送公钥。对于未使用该插件进行身份验证的帐户,将忽略此选项。如果不使用基于RSA的密码交换,也将被忽略,5.7.23
--helpDisplay help message and exit
--hexdump显示日志注释的十六进制转储
--host从给定主机上的MySQL服务器获取二进制日志
--idempotent告诉MySQL服务器在处理更新时使用幂等模式
--include-gtids仅显示gtid_set中列出的组 
--local-load对于与LOAD DATA语句相对应的数据加载操作 , mysqlbinlog从二进制日志事件中提取文件,将它们作为临时文件写入本地文件系统,并编写 LOAD DATA LOCAL语句以导致文件被加载。默认情况下,mysqlbinlog将这些临时文件写入特定于操作系统的目录。该--local-load选项可用于显式指定mysqlbinlog应该在其中 准备本地临时文件的目录
--login-path.mylogin.cnf登录路径文件中的命名登录路径读取选项 
--no-defaults不要读取任何选项文件,如果使用时有如下报错mysqlbinlog: [ERROR] unknown variable 'default-character-set=utf8'可以使用该选项绕过
--offset跳过日志中的N个条目
open_files_limit指定要保留的打开文件描述符的数量。
--password用于连接服务器的MySQL帐户的密码。密码值是可选的。如果未给出,则 mysqlbinlog提示输入一个。如果给出,则--password=或 -p与后面的密码之间 必须没有空格。如果未指定密码选项,则默认为不发送密码
--plugin-dir在其中查找插件的目录
--port用于连接到远程服务器的TCP / IP端口号。
--print-defaults打印程序名称及其从选项文件中获得的所有选项。
--protocol用于连接到服务器的传输协议
--raw默认情况下,mysqlbinlog读取二进制日志文件并以文本格式写入事件。 --raw选项告诉mysqlbinlog以其原始二进制格式编写它们。 它的使用要求也使用--read-from-remote-server,因为文件是从服务器请求的。 mysqlbinlog为从服务器读取的每个文件写一个输出文件。 --raw选项可用于备份服务器的二进制日志。 使用--stop-never选项,备份是在线的,因为mysqlbinlog保持与服务器的连接。 默认情况下,输出文件将以与原始日志文件相同的名称写入当前目录。 可以使用--result-file选项修改输出文件名。
--read-from-remote-master

通过将选项值分别设置为BINLOG-DUMP-NON-GTIDS或BINLOG-DUMP-GTIDS,分别使用COM_BINLOG_DUMP或COM_BINLOG_DUMP_GTID命令从MySQL服务器读取二进制日志。 如果将--read-from-remote-master = BINLOG-DUMP-GTIDS与--exclude-gtids结合使用,则可以在源上过滤掉事务,从而避免不必要的网络流量。

连接参数选项与此选项或--read-from-remote-server选项一起使用。 这些选项是--host,--password,--port,--protocol,--socket和--user。 如果两个远程选项均未指定,则连接参数选项将被忽略。

使用此选项需要REPLICATION SLAVE特权。

--read-from-remote-server从MySQL服务器读取二进制日志,而不是读取本地日志文件。此选项要求远程服务器正在运行。它仅适用于远程服务器上的二进制日志文件,不适用于中继日志文件。
--result-file如果没有--raw选项,则此选项指示mysqlbinlog将文本输出写入到的文件。 使用--raw,mysqlbinlog为从服务器传输的每个日志文件写入一个二进制输出文件,默认情况下使用与原始日志文件相同的名称将它们写入当前目录。 在这种情况下,--result-file选项值被视为修改输出文件名的前缀。
--rewrite-db

从基于行或基于语句的日志中读取时,请将所有出现的from_name重写为to_name。 对于基于行的日志,对行进行重写;对于基于语句的日志,对USE子句进行重写。 在5.7.8之前的MySQL版本中,此选项仅在还原使用基于行的格式记录的表时使用。

警告
使用此选项时,表名称与数据库名称匹配的语句不会被重写为使用新名称。

如前所述,用作此选项值的重写规则是形式为'from_name-> to_name'的字符串,因此必须用引号将其引起来。

与--database选项一起使用时,--rewrite-db选项将首先应用; 然后使用重写的数据库名称应用--database选项。 在这方面,提供选项的顺序没有区别。

--secure-auth

不要以旧(4.1之前)格式将密码发送到服务器。这样可以防止除使用较新密码格式的服务器以外的其他连接。

从MySQL 5.7.5开始,此选项已被弃用

Yes
--server-id仅显示由具有给定服务器ID的服务器创建的事件
--server-id-bits

仅使用server_id的前N位来标识服务器。 如果二进制日志是由mysqld编写的,其中server-id-bits设置为小于32,并且用户数据存储在最高有效位中,则在mysqlbinlog中将--server-id-bits设置为32,可以看到此数据。

NDB Cluster发行版随附提供或从NDB Cluster源构建的mysqlbinlog版本仅支持此选项。

--server-public-key-pathPEM格式的文件的路径名,其中包含服务器用于基于RSA密钥对的密码交换所需的公用密钥的客户端副本。 此选项适用于使用sha256_password或caching_sha2_password身份验证插件进行身份验证的客户端。 对于未通过这些插件之一进行身份验证的帐户,将忽略此选项。 如果不使用基于RSA的密码交换,也将被忽略,例如客户端使用安全连接连接到服务器时。

如果给出了--server-public-key-path = file_name并指定了有效的公钥文件,则它优先于--get-server-public-key。

对于sha256_password,仅当使用OpenSSL构建MySQL时,此选项才适用。

5.7.23
--set-charset在输出中 添加一条语句,以指定用于处理日志文件的字符集。 SET NAMES charset_name
--shared-memory-base-name

在Windows上,共享内存名称,用于使用共享内存与本地服务器建立的连接。默认值为MYSQL。共享内存名称区分大小写。

仅当在shared_memory启用了支持共享内存连接的系统变量的情况下启动服务器时,此选项才适用 。

--short-form仅显示日志中包含的语句,而没有任何其他信息或基于行的事件。这仅用于测试,不应在生产系统中使用。
--skip-gtids不要在输出中显示任何GTID。 从一个或多个包含GTID的二进制日志写入转储文件时,这是必需的
--socketUnix socket file or Windows named pipe to use
--sslEnable connection encryption
--ssl-caFile that contains list of trusted SSL Certificate Authorities
--ssl-capathDirectory that contains trusted SSL Certificate Authority certificate files
--ssl-certFile that contains X.509 certificate
--ssl-cipherPermissible ciphers for connection encryption
--ssl-crlFile that contains certificate revocation lists
--ssl-crlpathDirectory that contains certificate revocation-list files
--ssl-keyFile that contains X.509 key
--ssl-modeDesired security state of connection to server5.7.11
--ssl-verify-server-certVerify host name against server certificate Common Name identity
--start-datetime开始时间
--start-position开始pos点
--stop-datetime结束时间
--stop-never

此选项与--read-from-remote-server一起使用。 它告诉mysqlbinlog保持与服务器的连接。 否则,当从服务器传输了最后一个日志文件时,mysqlbinlog将退出。 --stop-never意味着--to-last-log,因此仅需要在命令行上命名要传输的第一个日志文件。

--stop-never通常与--raw一起使用以进行实时二进制日志备份,但也可以不与--raw一起使用,以在服务器生成日志事件时保持日志事件的连续文本显示。

--stop-never-slave-server-id使用--stop-never,mysqlbinlog在连接到服务器时报告服务器ID 65535。 --stop-never-slave-server-id明确指定要报告的服务器ID。 它可以用来避免与副本服务器或另一个mysqlbinlog进程的ID发生冲突。
--stop-position结束pos点
--tls-version允许的TLS协议进行加密连接。 该值是一个或多个逗号分隔的协议名称的列表。 可以为此选项命名的协议取决于用于编译MySQL的SSL库5.7.10
--to-last-log不要在从MySQL服务器请求的二进制日志的结尾处停止,而要继续打印直到最后一个二进制日志的结尾。 如果将输出发送到同一MySQL服务器,则可能导致无限循环。 此选项需要--read-from-remote-server。
--user连接到远程服务器时要使用的MySQL帐户的用户名。
--verbose重建行事件,并将其显示为带注释的SQL语句。如果两次给出此选项(通过传递“ -vv”或“ --verbose --verbose”),则输出将包含指示列数据类型和某些元数据的注释,以及行查询日志事件(如果已配置)。
--verify-binlog-checksum验证二进制日志文件中的校验和。
--version显示版本信息并退出。

2.重要参数的相关演示

2.1 截取位置相关参数

# 参数:--start-datetime,--stop-datetime,--start-position,--stop-position,--database

# 示例
mysqlbinlog  --start-position=194   mysql-bin.000021
# 有些同学可能发现即使我们指定了起始的pos点,但是日志仍然是从4开始的,这是为什么呢,可能影响的原因是我们的二进制日志格式为row,那么我们就需要加上--base64-output=decode-rows这个参数选项
mysqlbinlog  --start-position=194 --base64-output=decode-rows   mysql-bin.000021
# 如此一来,你会发现这时候的pos点已经从194开始了
mysqlbinlog  --start-datetime='2021-04-08 09:23:55'  --base64-output=decode-rows   mysql-bin.000022
# 起始时间和结束时间也同理,那如果start-position和start-datetime同时存在会怎么样呢,实践证明会取更靠后的选项,即时间的位置更靠后取时间,pos点的位置更靠后则取pos点
mysqlbinlog --start-position=3983 --start-datetime='2021-04-08 09:25:27'  --base64-output=decode-rows -vv  mysql-bin.000022

结果如下图: 

# 反过来,--stop-position和--stop-datetime同时存在的时候则是取更靠前的,即指定的时间在文件中更靠前则取时间,pos点在文件中更靠前则取pos点
 mysqlbinlog --stop-position=2945 --stop-datetime='2021-04-08 09:21:58'  --base64-output=decode-rows -vv  mysql-bin.000022

结果如下图: 

2.2 输出格式相关参数

# 参数:--base64-output,--verbose

# 现在的二进制基本都是采用row格式,官方也是推荐的row格式,所以这两个参数就显得极为重要了,接下来就演示下这两个参数的意义,原始什么参数都不加的
mysqlbinlog  --start-position=2111 --stop-position=2212  mysql-bin.000022

结果如下图

# 可以看到结果并不是你想看到的,至少不是我想看到的,如果你的眼睛自带编译解码等功能,那当我没有说,然后我们接下来加上--base64-output参数
 mysqlbinlog  --start-position=2111 --stop-position=2212  --base64-output=decode-rows  mysql-bin.000022

结果如下图

# 我们可以看到上图已经看不到乱码了,但是我们依然不知道这个二进制在表达着什么,那么我们再加上-vv
 mysqlbinlog  --start-position=2111 --stop-position=2212  --base64-output=decode-rows  -vv mysql-bin.000022

 结果如下图:

此时我们已经清楚的知道了段时间的数据库发生了什么事件了

2.3 db相关参数

# 参数:--database,--rewrite-db

mysqlbinlog  --start-position=2111 --stop-position=2212  --base64-output=decode-rows  -vv --database=binlog_test1  mysql-bin.000022
mysqlbinlog  --start-position=2111 --stop-position=2212  --base64-output=decode-rows  -vv --database=binlog_test2 --rewrite-db "binlog_test1->binlog_test2"  mysql-bin.000022

3.常用范例

3.1 从远程服务器拽取二进制日志

mysqlbinlog --read-from-remote-server mysql-bin.123 	--host=192.168.1.1 --port=3306 -vv  --base64-output=decode-rows --user user --password > binlog.123

想到一个补一个吧

官网链接:MySQL :: MySQL 5.7 Reference Manual :: 4.6.7 mysqlbinlog — Utility for Processing Binary Log Files

Logo

旨在为数千万中国开发者提供一个无缝且高效的云端环境,以支持学习、使用和贡献开源项目。

更多推荐