Longhorn 容器存储出问题了怎么办？这篇故障排查帮你理清思路和步骤

（引用自知乎专栏“Kubernetes存储技术”） 当你在Kubernetes集群中使用Longhorn作为持久化存储方案时，难免会遇到一些棘手的问题，Pod突然卡在Pending状态，提示找不到持久卷；或者应用毫无征兆地变得无法访问，遇到这种情况，先别慌，按照一个清晰的思路逐步排查，往往能更快地找到问题的根源。

第一步：检查Pod状态，这是最直接的入口

你需要关注的是使用了Longhorn持久卷的Pod,打开终端，输入命令查看Pod的状态。 kubectl get pods -n <你的命名空间> 如果Pod一直处于Pending状态，那通常意味着调度失败了，接下来你需要查看Pod的详细事件来获取线索。 kubectl describe pod <pod名称> -n <你的命名空间> 在描述信息的事件部分，你要特别留意有没有诸如FailedAttachVolume或FailedMount这样的错误信息，这些错误直接指向了存储卷挂载环节出了问题，是接下来排查的重点。

（引用自博客“云原生实验室”） 第二步：深入Longhorn管理界面，查看卷的健康状况

Longhorn的一个巨大优势是提供了非常直观的Web管理界面,你应该立即打开Longhorn的UI，在UI中，重点关注以下几个地方：

1. 卷列表：查看出问题的卷的状态，一个健康的卷，其状态应该是Detached（未挂载）或Attached（已挂载），并且应该是Healthy（健康）的，如果你看到卷的状态是Degraded（降级）或者Faulted（故障），那就说明数据复制出现了问题，比如某个副本所在的节点磁盘损坏了。
2. 卷的详细信息：点击进入有问题的卷，查看它的详细信息，这里会显示该卷的副本分布在哪些节点上，以及每个副本的状态，如果某个副本显示错误，比如Failed（失败），那么问题很可能就出在这个副本所在的节点或者磁盘上。
3. 节点状态：在Longhorn的节点页面，检查所有工作节点的状态，确保它们都是Ready（就绪）的，如果某个节点因为网络问题、磁盘压力过大或者Longhorn组件异常而处于Not Ready（未就绪）状态，那么运行在该节点上的副本就会失效，导致整个卷进入降级或故障状态。

第三步：排查节点和磁盘层面的问题

如果通过Longhorn UI发现某个节点或副本有问题，你需要登录到具体的物理节点上去排查。

1. 磁盘空间：这是最常见的问题之一，使用df -h命令检查Longhorn数据目录（默认是/var/lib/longhorn/）所在的磁盘分区是否已经满了，Longhorn需要一定的空间来存储数据和快照，磁盘写满会导致严重的IO错误。
2. Longhorn组件Pod：在Longhorn的命名空间（通常是longhorn-system）下，运行着许多核心组件Pod，比如longhorn-manager、longhorn-csi-plugin等，使用kubectl get pods -n longhorn-system命令检查这些Pod是否全部正常运行，如果有Pod处于CrashLoopBackOff（崩溃循环）状态，查看它的日志是解决问题的关键。 kubectl logs -n longhorn-system <出问题的pod名称>

（引用自Longhorn官方文档） 第四步：处理常见的特定错误场景

• 卷状态为Degraded（降级）：这表示卷的多个副本中有一个失效了，但至少还有一个副本是好的，数据仍然是可读写的，这时Longhorn会尝试自动重建失败的副本，你需要做的是确保失效副本所在的节点问题已经解决（比如磁盘已清理出空间、节点网络已恢复），然后可以尝试在UI上手动触发副本重建。
• 卷状态为Faulted（故障）：这更严重，意味着所有副本都不可用了，卷完全无法访问，这种情况下，自动恢复通常很困难，你的首要任务是检查Kubernetes节点和底层网络的基础设施，如果底层硬件（如磁盘）确实发生了物理损坏，你可能需要从备份中进行恢复（如果你之前设置了Longhorn的定期备份功能的话）。
• Pod报Timeout（超时）错误：如果在挂载卷时遇到超时，很可能是节点之间的网络延迟过高或存在波动，Longhorn的副本同步对网络稳定性有要求，你需要检查集群的网络CNI插件是否正常工作，并确保节点之间的网络是通畅且稳定的。

第五步：利用日志和备份

如果以上步骤都无法定位问题,日志就是最后的“杀手锏”，除了之前提到的Longhorn组件Pod日志，longhorn-manager的日志尤其重要，它记录了卷管理、副本调度的核心逻辑，你可以通过提高日志级别来获取更详细的信息，养成定期为重要数据卷创建快照和备份的习惯，能在真正发生数据灾难时给你一条可靠的退路。

排查Longhorn的问题需要一个从应用层到基础设施层、由表及里的过程，从出问题的Pod出发，顺着Longhorn卷、副本、节点的链条一步步查下去，同时善用描述信息、管理界面和系统日志，大多数问题都能被有效地识别和解决。