MySQL报错MY-010655，NDB二进制日志索引锁定失败，远程帮忙修复故障解决方案

MySQL报错MY-010655：NDB二进制日志索引锁定失败故障解决方案

当你遇到MySQL错误代码MY-010655，并伴随“NDB Binlog: Failed to lock binlog index file”的描述时，这通常意味着MySQL集群（NDB Cluster）的二进制日志索引文件（通常是mysql-bin.index）在启动或运行过程中无法被正确锁定，这个文件的作用是记录所有二进制日志文件的列表，对于数据复制和恢复至关重要，锁定失败会导致NDB集群的二进制日志记录器（binlog injector thread）无法正常工作，进而影响整个集群的数据同步和高可用性，下面将分步骤说明如何诊断和修复此故障。

第一步：确认错误发生的具体场景和环境

你需要明确错误发生的时间点,是在MySQL服务器（特别是作为NDB管理节点或SQL节点的mysqld进程）启动时发生的，还是在正常运行过程中突然出现的？这个信息很重要，因为启动时的失败和运行中的失败，其根本原因和排查侧重点有所不同。

• 启动时失败：通常与文件系统权限、磁盘空间、文件损坏或另一个MySQL实例已占用资源有关。
• 运行时失败：可能由于系统资源突然耗尽（如inode用尽）、文件系统错误、或人为误操作（如误删文件）导致。

第二步：检查基础系统资源与权限

这是最基础也是最常见的排查方向,请登录到报错的MySQL服务器节点上执行以下检查。

1. 检查磁盘空间：使用命令df -h查看MySQL数据目录（由datadir参数指定）所在的磁盘分区是否已满，使用df -i检查该分区的inode是否已用尽，如果空间或inode不足，需要清理不必要的文件（如旧的二进制日志、临时文件等）以释放空间，清理二进制日志前，请确保这些日志不再被任何从库或备份恢复流程所需要。
2. 检查文件权限和所有权：二进制日志索引文件（例如/var/lib/mysql/mysql-bin.index）及其所在目录必须能被运行mysqld进程的系统用户（通常是mysql）读写，使用ls -l /var/lib/mysql/mysql-bin.index命令检查文件的所有者和权限，正确的权限通常是-rw-rw----，所有者是mysql，如果权限不对，使用chown mysql:mysql /var/lib/mysql/mysql-bin.index和chmod 660 /var/lib/mysql/mysql-bin.index进行修正，同样，确保数据目录本身的权限也对mysql用户可读、写、执行。
3. 检查是否有残留的锁文件或进程：有时MySQL进程异常终止后，可能会留下锁文件（如mysql-bin.index.lock，具体名称可能因版本而异）或僵死的mysqld进程，阻止新的实例启动，使用ps aux | grep mysqld检查是否有多个或多个异常的mysqld进程，使用lsof | grep mysql-bin.index查看是否有其他进程正在占用该文件，如果发现残留的进程或锁文件，在确认其可以安全终止或删除后，谨慎地处理它们。

第三步：检查MySQL配置参数

错误的配置也可能导致此问题,请检查MySQL的配置文件（通常是/etc/my.cnf或/etc/mysql/my.cnf）。

1. 核对log_bin和log_bin_index路径：确保log_bin和log_bin_index参数配置的路径是有效的、可访问的，并且没有拼写错误，特别是log_bin_index，它明确指定了索引文件的位置，如果路径不存在，mysqld可能无法创建或锁定文件。
2. 确保NDB特定配置正确：对于NDB集群，确认ndbcluster插件已启用，并且正确配置了ndb-connectstring指向管理节点，虽然这不直接导致文件锁定失败，但配置错误可能引发一系列连锁问题。

第四步：检查文件系统错误

如果以上步骤均未发现问题,可能存在文件系统错误，尝试对MySQL数据目录所在的文件系统进行检查，对于ext4文件系统，可以尝试卸载（unmount）该分区后运行fsck命令进行检查修复。注意：在执行此操作前，必须确保MySQL服务已完全停止，并且你有备份，因为fsck可能对文件系统进行修改。

第五步：尝试重建二进制日志索引文件

如果怀疑索引文件本身损坏,可以尝试在完全停止MySQL服务后，手动重建它，这是一个有一定风险的操作，务必谨慎。

1. 完全停止所有节点的MySQL服务。
2. 备份当前的二进制日志索引文件（将其重命名为mysql-bin.index.bak）。
3. 手动创建一个新的空索引文件：touch /var/lib/mysql/mysql-bin.index。
4. 设置正确的权限：chown mysql:mysql /var/lib/mysql/mysql-bin.index 和 chmod 660 /var/lib/mysql/mysql-bin.index。
5. 启动MySQL服务,MySQL会读取新的空索引文件。这种方法有一个重大限制：MySQL可能会尝试寻找索引文件中列出的旧二进制日志文件，如果找不到，可能导致复制中断或其他问题，这种方法更适用于全新的测试环境，或者你确信可以接受从当前点开始新的二进制日志序列（这意味着会丢失旧的二进制日志记录），在生产环境中，如果有从库，此操作需要极其谨慎，并需要重新配置从库的复制起点。

第六步：深入分析与寻求进一步帮助

如果所有常规方法都失败,问题可能更深层，例如与特定的操作系统内核版本、文件系统类型或MySQL/NDB版本的bug相关。

1. 检查MySQL的错误日志文件（通常位于数据目录下，文件名为host_name.err），寻找在MY-010655错误前后是否有其他相关的警告或错误信息，这些信息可能提供更多线索。
2. 查阅MySQL官方Bug数据库,看是否有与你使用的MySQL版本和环境相匹配的已知bug报告。
3. 考虑升级MySQL到最新的小版本（如从8.0.28升级到8.0.36），因为新版本通常修复了已知的问题。
4. 如果问题依然无法解决,建议在MySQL官方社区论坛或向Oracle支持提交详细的错误报告，包括你的MySQL版本、操作系统版本、配置文件（脱敏后）、以及完整的错误日志片段。

解决MY-010655错误是一个系统性的排查过程，需要从最简单的资源权限问题入手，逐步深入到配置、文件系统和软件本身，始终保持谨慎，尤其是在生产环境中进行操作前，做好备份是关键。