ASM磁盘在集群中不可见导致ORA-15282错误，远程协助排查修复方案

ASM磁盘在集群中不可见导致ORA-15282错误的远程协助排查修复方案

当收到关于Oracle数据库因ASM磁盘在集群中不可见而报告ORA-15282错误的求助时，由于是远程协助，我们无法直接操作服务器，因此需要一个系统化、可远程指导的排查流程，核心思路是：引导现场人员从操作系统层开始，自底向上地检查磁盘的可见性、权限、配置，直至ASM实例和集群状态，最终使磁盘组能够正常挂载。

第一阶段：初步信息收集与错误确认

1. 确认错误详情：请现场人员登录到数据库服务器，连接到ASM实例（使用sqlplus / as sysasm），尝试挂载磁盘组或查看现有磁盘组状态，ORA-15282错误通常会伴随更具体的信息，cannot mount disk group DG_DATA”,请他们提供完整的错误信息文本。
2. 检查集群状态：指示他们使用集群管理命令检查整个集群的健康状况，在Oracle Restart环境下检查crsctl check has，在Oracle RAC环境下检查crsctl check cluster -all，确保集群服务本身是正常运行的，如果集群服务有问题,需要先解决集群问题。

第二阶段：操作系统层面排查

这是排查的重点，因为绝大多数“不可见”问题源于操作系统层。

3. 检查磁盘物理连接：询问现场人员近期是否有硬件变更、存储阵列维护、光纤交换机重启或线缆插拔，物理连接的松动或存储端的配置问题（如LUN未映射或屏蔽）会导致磁盘在所有集群节点上或某个节点上消失,需要他们协调系统管理员或存储管理员确认。
4. 扫描并识别磁盘：指导他们在所有集群节点上执行操作系统命令，重新扫描磁盘设备，在Linux系统上：
   • 对于使用ASMLib的情况：/etc/init.d/oracleasm scandisks /etc/init.d/oracleasm listdisks,查看预期的磁盘是否列出。
   • 对于使用UDEV规则的情况：可能需要触发UDEV规则或使用multipath -r命令重新扫描多路径设备。
   • 通用检查：使用fdisk -l或lsblk命令查看操作系统是否能识别到对应大小的块设备。
5. 检查磁盘权限和所有权：这是非常常见的根源，ASM实例运行的操作系统用户（通常是oracle和grid）必须对磁盘设备有读写的权限。
   • 让他们使用ls -l命令检查磁盘设备的权限。ls -l /dev/oracleasm/disks/DATA_DISK1，权限通常应为660，所有者和组应为grid:asmadmin（或类似，取决于安装时的配置）。
   • 如果权限或所有权不正确，指导他们使用chown和chmod命令进行修正。chown grid:asmadmin /dev/oracleasm/disks/* 和 chmod 660 /dev/oracleasm/disks/*。注意：此操作需要在所有集群节点上执行。

第三阶段：ASM配置与磁盘发现层面排查

6. 检查ASM磁盘发现路径：ASM实例通过asm_diskstring初始化参数来发现磁盘，这个参数可能指向/dev/oracleasm/disks/*、/dev/mapper/*或特定的UDEV链接路径。
   • 让他们在ASM实例中执行show parameter asm_diskstring,确认设置的路径是否正确。
   • 比较asm_diskstring设置的路径与第4步中能看到的磁盘设备路径是否一致，如果不一致，要么修改asm_diskstring，要么修正磁盘设备的路径（修复UDEV规则或符号链接）,使其匹配。
7. 使用ASMCMD工具发现磁盘：让他们在ASM实例环境下运行ASMCMD工具，然后执行vol -a或lsdsk --candidate命令，这个命令会列出ASM根据asm_diskstring发现的所有候选磁盘，观察预期的磁盘是否出现在列表中，如果没出现，说明问题仍停留在操作系统可见性或asm_diskstring配置上。

第四阶段：尝试挂载与问题修复

8. 尝试挂载磁盘组：在确认上述步骤无误后，指导他们再次尝试挂载磁盘组：ALTER DISKGROUP DG_DATA MOUNT;。
9. 如果仍失败，检查磁盘头信息：如果挂载仍然失败，可能是磁盘头信息损坏（尽管不常见），可以尝试强制挂载：ALTER DISKGROUP DG_DATA MOUNT FORCE;。此命令有风险，需谨慎使用，并确保没有其他节点正在使用该磁盘组。
10. 检查OCR和Voting Disk：在RAC环境中，如果存放Voting Disk的磁盘组也无法挂载，会导致更严重的集群问题，此时可能需要从备份中恢复OCR和Voting Disk，这属于高级恢复操作,需要更严格的指导。

第五阶段：节点间一致性检查与最终验证

11. 跨节点检查：要求他们在第二个集群节点上重复第4、5、6步的操作，确保磁盘在所有节点上的可见性、权限和ASM发现结果都是一致的,某个节点配置不同步是导致集群中磁盘组无法正常挂载的常见原因。
12. 最终验证：在所有节点配置一致且磁盘组成功挂载后，进行最终验证：
    • 在ASM实例中执行SELECT STATE, NAME FROM V$ASM_DISKGROUP;，确认磁盘组状态为MOUNTED。
    • 让应用程序尝试连接数据库,进行功能性测试。

远程协助要点总结

整个过程中，作为远程协助方，关键是要清晰、逐步地发出指令，并要求现场人员准确反馈每一步的命令输出结果，通过对比预期输出和实际输出，可以快速定位问题环节，务必强调操作需要在所有集群节点上执行的一致性，并提醒他们在进行任何修改操作（如chmod, chown，特别是MOUNT FORCE）前,确认理解其含义和潜在风险。