Thread Dump是什么

Thread Dump(javacore文件)是当前虚拟机内每一条线程正在执行的方法堆栈集合，生成线程快照的主要目的
定位线程出现长时间停顿的原因：

  • 线程间死锁
  • 死循环
  • 请求外部资源导致长时间等待等

如何生成Thread Dump

可以使用jstack(Stack Trace for Java)命令，它用于生成虚拟机当前时刻的线程快照，就可以查
看各个线程的调用栈。以部署在Tomcat上Java Web应用为例，当我们遇到CPU飙升或者100%时，执行如下步骤
获取Thread Dump:

  1. 获取Tomcat线程号(tomcatPID)：ps aux | grep tomcat；
  2. 获取每个线程的负载情况：top -Hp tomcatPID, SHIFT+T 按CPU耗时总时间倒序排序，找到的top几个是最耗CPU时间的。注意这个步骤十分关键，用于后面分析Thread Dump日志；
  3. 生成 Thread Dump: jstack tomcatPID > thread_dump_tomcatPID.log。关于 jstack命令可以参考：jstack: stack trace

线程状态

Java 线程状态以及状态之间转换

为了能够读懂Thread Dump日志，首先要熟悉Java线程的状态以及状态之间的转换。首先我们来看一下Java
线程状态，并且在任意一个时间点，一个线程只能有且只有其中的一种状态：

  1. 初始(NEW)：新创建了一个线程对象，但还没有调用start()方法。
  2. 运行(RUNNABLE)：从OS（操作系统）层面看，JVM的运行状态可以由：就绪（ready）和运行中（running）两种状态构成。线程对象创建后，其他线程(比如main线程）调用了该对象的start()方法。该状态的线程位于可运行线程池中，等待被线程调度选中，获取CPU的使用权，此时处于就绪状态（ready）。就绪状态的线程在获得CPU时间片后变为运行中状态（running）。
  3. 阻塞（Blocked）：线程被阻塞了，“阻塞状态”与“等待状态”的区别是：“阻塞状态”在等待着获取到一个排他锁，这个事件将在另外一个线程放弃这个锁的时候发生；而“等待状态”则是在等待一段时间，或者唤醒动作的发生。在程序等待进入同步区域的时候，线程将进入这种状态。
  4. 无限期等待(WAITING)：进入该状态的线程不会被分配CPU执行时间，需要等待其他线程做出一些特定动作（通知或中断）。下方法会让线程陷入无限期的等待状态：
    • 没有设置Timeout参数的Object.wait()方法；
    • 没有设置Timeout参数的Thread.join()方法；
    • LockSupport.park()方法；
  5. 限期等待（Timed Waiting）：处于这种状态的线程也不会被分配CPU执行时间，不过无须等待被其他线程显式地唤醒，在一定时间之后它们会由系统自动唤醒。以下方法会让线程进入限期等待状态：
    • Thread.sleep()方法;
    • 设置了Timeout参数的Object.wait()方法;
    • 设置了Timeout参数的Thread.join()方法;
    • LockSupport.parkNanos()方法;
    • LockSupport.parkUntil()方法;
  6. 终止(TERMINATED)：已终止线程的线程状态，线程已经结束执行。

然后我们来看看Java线程状态之间是如何转换，如下图：

java-6-thread-states

Thread Dump文件中的线程状态含义及注意事项

在Thread Dump打印出来的线程状态与我们上面提到的线程状态还是有点差别的，下面看看Thread Dump文件中的线程状态含义及注意事项：

  1. Deadlock：死锁线程，一般指多个线程调用间，进入相互资源占用，导致一直等待无法释放的情况。
  2. Runnable：一般指该线程正在执行状态中，该线程占用了资源，正在处理某个请求，有可能正在传递SQL到数据库执行，有可能在对某个文件操作，有可能进行数据类型等转换。
  3. Waiting on condition：等待资源，或等待某个条件的发生。具体原因需结合 stacktrace来分析：
    • 如果堆栈信息明确是应用代码，则证明该线程正在等待资源。一般是大量读取某资源，且该资源采用了资源锁的情况下，线程进入等待状态，等待资源的读取。
    • 正在等待其他线程的执行等。
    • 如果发现有大量的线程都在处在Wait on condition，从线程stack看，正等待网络读写，这可能是一个网络瓶颈的征兆。因为网络阻塞导致线程无法执行。
      • 一种情况是网络非常忙，几乎消耗了所有的带宽，仍然有大量数据等待网络读写；
      • 另一种情况也可能是网络空闲，但由于路由等问题，导致包无法正常的到达。
    • 另外一种出现Wait on condition的常见情况是该线程在sleep，等待 sleep的时间到了时候，将被唤醒。
  4. Blocked：线程阻塞，是指当前线程执行过程中，所需要的资源长时间等待却一直未能获取到，被容器的线程管理器标识为阻塞状态，可以理解为等待资源超时的线程。
  5. Waiting for monitor entry 和 in Object.wait()：Monitor是 Java中用以实现线程之间的互斥与协作的主要手段，它可以看成是对象或者Class的锁。每一个对象都有，也仅有一个 monitor。从下图中可以看出，每个 Monitor在某个时刻，只能被一个线程拥有，该线程就是 Active Thread，而其它线程都是 Waiting Thread，分别在两个队列Entry Set和 Wait Set里面等候。在Entry Set中等待的线程状态是 Waiting for monitor entry，而在Wait Set中等待的线程状态是in Object.wait()。

java_monitor

所以我们重点关注的线程状态是：

  • 死锁Deadlock
  • 执行中Runnable （CPU飙升的时候关注的重点对象）
  • 等待资源，Waiting on condition
  • 等待获取监视器，Waiting on monitor entry
  • 暂停，Suspended
  • 阻塞，Blocked

Thread Dump日志结构

当你打开Thread Dump文件，就会发现其包含的内容结构如下图：

thread_dump_section

Thread Dump三个例子

下面举三个例子进行分析，更多例子可以参考
How to Analyze Java Thread Dumps。

  1. Waiting to lock 和 Blocked

“RMI TCP Connection(267865)-172.16.5.25” daemon prio=10 tid=0x00007fd508371000 nid=0x55ae waiting for monitor entry [0x00007fd4f8684000]
java.lang.Thread.State: BLOCKED (on object monitor)
at org.apache.log4j.Category.callAppenders(Category.java:201)
waiting to lock <0x00000000acf4d0c0> (a org.apache.log4j.Logger)
at org.apache.log4j.Category.forcedLog(Category.java:388)
at org.apache.log4j.Category.log(Category.java:853)
at org.apache.commons.logging.impl.Log4JLogger.warn(Log4JLogger.java:234)
at com.tuan.core.common.lang.cache.remote.SpyMemcachedClient.get(SpyMemcachedClient.java:110)

1) 第一行里，`RMI TCP Connection(267865)-172.16.5.25`是 Thread Name 。`tid`指Java Thread id。nid指native线程的id。prio是线程优先级。`[0x00007fd4f8684000]`是线程栈起始地址。
2）线程状态是 `Blocked`，阻塞状态。说明线程等待资源超时！
3）`waiting to lock <0x00000000acf4d0c0>`指，线程在等待给这个 `0x00000000acf4d0c0` 地址上锁（英文可描述为：trying to obtain  `0x00000000acf4d0c0` lock）。
4）在 dump 日志里查找字符串 `0x00000000acf4d0c0`，发现有大量线程都在等待给这个地址上锁。如果能在日志里找到谁获得了这个锁（如`locked < 0x00000000acf4d0c0>`），就可以顺藤摸瓜了。
5）`waiting for monitor entry`说明此线程通过 `synchronized(obj) {……}` 申请进入了临界区，从而进入了`Entry Set`队列，但该 obj 对应的 monitor 被其他线程拥有，所以本线程在`Entry Set`队列中等待。
  1. Waiting on condition 和 TIMED_WAITING

“RMI TCP Connection(idle)” daemon prio=10 tid=0x00007fd50834e800 nid=0x56b2 waiting on condition [0x00007fd4f1a59000]
java.lang.Thread.State: TIMED_WAITING (parking)
at sun.misc.Unsafe.park(Native Method)
parking to wait for <0x00000000acd84de8> (a java.util.concurrent.SynchronousQueue$TransferStack)
at java.util.concurrent.locks.LockSupport.parkNanos(LockSupport.java:198)
at java.util.concurrent.SynchronousQueue$TransferStack.awaitFulfill(SynchronousQueue.java:424)
at java.util.concurrent.SynchronousQueue$TransferStack.transfer(SynchronousQueue.java:323)
at java.util.concurrent.SynchronousQueue.poll(SynchronousQueue.java:874)
at java.util.concurrent.ThreadPoolExecutor.getTask(ThreadPoolExecutor.java:945)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:907)
at java.lang.Thread.run(Thread.java:662)

1）“TIMED_WAITING (parking)”中的 timed_waiting 指等待状态，但这里指定了时间，到达指定的时间后自动退出等待状态；parking指线程处于挂起中。
2）`waiting on condition`需要与堆栈中的`parking to wait for  <0x00000000acd84de8> (a java.util.concurrent.SynchronousQueue$TransferStack)`结合来看。
    - 本线程肯定是在等待某个条件的发生，来把自己唤醒
    - `SynchronousQueue` 并不是一个队列，只是线程之间移交信息的机制，当我们把一个元素放入到 `SynchronousQueue` 中时必须有另一个线程正在等待接受移交的任务，因此这就是本线程在等待的条件。
  1. in Obejct.wait() 和 TIMED_WAITING

“RMI RenewClean-[172.16.5.19:28475]” daemon prio=10 tid=0x0000000041428800 nid=0xb09 in Object.wait() [0x00007f34f4bd0000]
java.lang.Thread.State: TIMED_WAITING (on object monitor)
at java.lang.Object.wait(Native Method)
waiting on <0x00000000aa672478> (a java.lang.ref.ReferenceQueue$Lock)
at java.lang.ref.ReferenceQueue.remove(ReferenceQueue.java:118)
locked <0x00000000aa672478> (a java.lang.ref.ReferenceQueue$Lock)
at sun.rmi.transport.DGCClient$EndpointEntry$RenewCleanThread.run(DGCClient.java:516)
at java.lang.Thread.run(Thread.java:662)

1）`TIMED_WAITING (on object monitor)`，对于本例而言，是因为本线程调用了 `java.lang.Object.wait(long timeout)` 而进入等待状态。
2）`Wait Set`中等待的线程状态就是`in Object.wait()`。当线程获得了 Monitor，进入了临界区之后，如果发现线程继续运行的条件没有满足，它则调用对象（一般就是被 synchronized 的对象）的 wait() 方法，放弃了 Monitor，进入 `Wait Set`队列。只有当别的线程在该对象上调用了 notify() 或者 notifyAll() ，`Wait Set`队列中线程才得到机会去竞争，但是只有一个线程获得对象的 Monitor，恢复到运行态。
3）`RMI RenewClean` 是 `DGCClient` 的一部分。`DGC` 指的是 Distributed GC，即分布式垃圾回收。
4）请注意，是先`locked <0x00000000aa672478>`，后 `waiting on <0x00000000aa672478>`，之所以先锁再等同一个对象，请看下面它的代码实现：

1
2
3
4
5
6
7
8
9
10
11
12
13
static private class  Lock { };
private Lock lock = new Lock();
public Reference<? extends T> remove(long timeout)
{
    synchronized (lock) {
        Reference<? extends T> r = reallyPoll();
        if (r != null) return r;
        for (;;) {
            lock.wait(timeout);
            r = reallyPoll();
            ……
    }
}

即，线程的执行中，先用 synchronized 获得了这个对象的 Monitor（对应于locked <0x00000000aa672478> ）；当执行到 lock.wait(timeout);，线程就放弃了 Monitor 的所有权，进入Wait Set队列（对应于 waiting on <0x00000000aa672478> ）。
5）从堆栈信息看，是正在清理 remote references to remote objects，引用的租约到了，分布式垃圾回收在逐一清理呢。

Thread Dump使用常见场景

首先要说明的是thread dump 是个瞬时数据，需要多个采样进行对比才能更好的发现问题，所以要多次采样。下面是常见场景与排查思路：

  1. cpu飙高，load高，响应很慢
    一个请求过程中多次dump，对比多次dump文件的runnable线程，如果执行的方法有比较大变化，说明比较正常。如果在执行同一个方法，就有一些问题了。
  2. cpu使用率不高但是响应很慢
    进行dump，查看是否有很多thread struck在了i/o、数据库等地方，定位瓶颈原因。
  3. 请求无法响应
    多次dump，对比是否所有的runnable线程都一直在执行相同的方法，如果是的，恭喜你，锁住了！

Thread DUMP 分析工具

参考资料

说明：本文很多来自参考资料，更多做了汇总与编辑。