Spring Boot假死诊断记录

最近，我们遇到了一次Spring Boot服务假死的问题，即服务在运行一段时间后变得不可用，无法处理请求。为了解决这个问题，我们进行了一系列的排查和优化工作。下面将详细记录我们的排查过程和解决方法。

一、问题描述

服务在运行一段时间后变得不可用，无法处理请求。我们观察到CPU和内存占用都不高，但网络连接状态异常，大量CLOSEWAIT状态的端口占用。

二、排查过程

1. 检查系统状态
   首先，我们使用top命令检查了系统的CPU和内存占用情况，发现并没有异常。然后，我们通过netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'命令检查了网络连接状态，发现有大量的CLOSEWAIT端口占用。这表明服务可能处于假死状态，无法正常处理请求。
2. 检查JVM情况
   考虑到可能是线程有死锁或阻塞，我们决定先dump一下线程情况。执行jstack <pid> > /tmp/thread.hump命令后，我们发现tomcat线程基本正常，都是处于parking状态。这排除了线程死锁的可能性。
3. 内存分析
   为了进一步分析问题，我们对JVM堆内存进行了dump。使用jmap -dump:format=b,file=heapDump<PID>命令将堆内存dump到文件中，然后使用MAT（Memory Analyzer Tool）对堆内存进行分析。通过MAT分析，我们发现疑似是jdbc中的一个类占用了大量内存，但实际上整体占用堆容量并不多。另外，我们还发现大量线程处于sleep状态的定时线程。
4. 诊断结论
   经过上述排查，我们得出结论：服务假死的原因可能是由于某些定时线程无法正常唤醒，导致服务无法处理请求。

三、解决方法

1. 调整定时任务配置
   考虑到大量线程处于sleep状态的定时线程可能是导致问题的原因之一，我们对定时任务的配置进行了调整。减少了线程休眠的时间，并增加了定时任务的执行频率。这样可以减少线程长时间休眠的情况，避免因网络连接异常或其他原因导致的假死问题。
2. 优化数据库连接
   我们还对数据库连接进行了优化。考虑到jdbc中的类可能占用了部分内存，我们增加了数据库连接池的大小，并优化了连接池的配置。这样可以更好地管理和复用数据库连接，提高系统的稳定性和性能。
3. 监控和告警
   为了及时发现和处理类似的问题，我们增加了对服务的监控和告警功能。通过监控系统的CPU、内存、网络连接等关键指标，以及定时任务的执行情况，我们可以及时发现异常并触发告警。这样可以在问题发生时迅速定位并解决问题，减少对用户的影响。

四、总结

通过这次排查和优化工作，我们成功解决了Spring Boot服务假死的问题。从排查过程中我们学到了很多关于Java应用性能优化和问题诊断的知识。在未来的工作中，我们将继续关注服务的性能和稳定性，不断优化和改进系统架构，为用户提供更加稳定可靠的服务。